大数据技术高级-考试版

1、yum -y install vim
2、yum -y install net-tools

3、mkdir /opt/module
mkdir /opt/software （说明：安装文件都放在这里）

4、
hostnamectl set-hostname master
bash

5、tar -zxvf /opt/software/jdk-8u311-linux-x64.tar.gz -C /opt/module/
mv /opt/module/jdk1.8.0_311/ /opt/module/jdk8

6、
vim /etc/profile

添加如下内容
export JAVA_HOME=/opt/module/jdk8
export PATH=$PATH:$JAVA_HOME/bin

生效环境变量
source /etc/profile

验证
java -version

7、tar -zxvf /opt/software/hadoop-2.10.1.tar.gz -C /opt/module/
mv /opt/module/hadoop-2.10.1/ /opt/module/hadoop2.10

8、vim /etc/profile

export HADOOP_HOME=/opt/module/hadoop2.10
export JAVA_HOME=/opt/module/jdk8
export PATH=$PATH:$JAVA_HOME/bin:$HADOO{P}_{H}OME/bin:$HADOOP_HOME/sbin

9、source /etc/profile
hadoop version

10、
cd /opt/module/hadoop2.10/etc/hadoop/
vi core-site.xml

fs.defaultFS hdfs://master:9000 hadoop.tmp.dir /opt/module/hadoop2.10/data/tmp

11、
hadoop-env.sh
export JAVA_HOME=/opt/module/jdk8

12、
vi yarn-site.xml

yarn.nodemanager.aux_services mapreduce_shuffle yarn.resourcemamager.hostname master

13、
vi hdfs-site.xml


dfs.replication
1

14、vi mapred-site.xml


mapreduce.framework.name
yarn

15、yum -y install openssh
vim /etc/hosts
内容，末尾添加
xxxx.xxxx.xxxx.xxxx master （用ifconfig查看本机ip）

16、添加ssh密钥
ssh-keygen -t rsa # 三下回车

拷贝密钥

ssh-copy-id master

输入yes

输入密码：123456

17、格式化namenode节点
hadoop namenode -format

19、关闭防火墙
systemctl stop firewalld # 单次关闭防火墙
systemctl disable firewalld # 永久关闭防火墙

20、启动hadoop
start-dfs.sh
start-yarn.sh

21、jps

22、http://192.168.200.100:50070