一,配置免密(需要输入密码的输入密码即可)
1.在每个节点生成公钥和私钥,并拷贝
Hadoop100:
生成公钥和私钥
[root@hadoop100] ssh-keygen -t rsa
然后敲(三个回车)
将公钥拷贝到要免密登录的目标机器上
[root@hadoop100] ssh-copy-id hadoop100
[root@hadoop100] ssh-copy-id hadoop101
[root@hadoop100] ssh-copy-id hadoop102
Hadoop101:
生成公钥和私钥
[root@hadoop101] ssh-keygen -t rsa
然后敲(三个回车)
将公钥拷贝到要免密登录的目标机器上
[root@hadoop101] ssh-copy-id hadoop100
[root@hadoop101] ssh-copy-id hadoop101
[root@hadoop101] ssh-copy-id hadoop102
Hadoop102:
生成公钥和私钥
[root@hadoop102] ssh-keygen -t rsa
然后敲(三个回车)
将公钥拷贝到要免密登录的目标机器上
[root@hadoop102] ssh-copy-id hadoop100
[root@hadoop102] ssh-copy-id hadoop101
[root@hadoop102] ssh-copy-id hadoop102
2.修改hadoop配置文件(修改环境变量)
(1)在hadoop100上的start-dfs.sh 和stop-dfs.sh 文件最上边添加几行数据
先切换路径:
cd /opt/module/hadoop-3.1.3/sbin
在进入编辑模式:
vi start-dfs.sh
添加:
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
保存退出
在进入编辑模式:
vi stop-dfs.sh
添加:
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
(2)在 start-yarn.sh 和 stop-yarn.sh文件最上方添加几行数据
进入编辑模式:
vi start-yarn.sh
添加:
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
保存退出
在进入编辑模式:
vi stop-yarn.sh
添加:
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
3.在hadoop100上修改workers:
cd /opt/module/hadoop-3.1.3/etc/hadoop
进入编辑:
vi workers
添加:
hadoop100
hadoop101
hadoop102
在把上面的修改同步到hadoop101、hadoop102上:
scp -r /opt/module/hadoop-3.1.3/sbin/ hadoop101:/opt/module/hadoop-3.1.3/sbin/
scp -r /opt/module/hadoop-3.1.3/sbin/ hadoop102:/opt/module/hadoop-3.1.3/sbin/
scp -r /opt/module/hadoop-3.1.3/etc/hadoop/ hadoop101:/opt/module/hadoop-3.1.3/etc/hadoop/
scp -r /opt/module/hadoop-3.1.3/etc/hadoop/ hadoop102:/opt/module/hadoop-3.1.3/etc/hadoop/
二,配置文件(在/opt/module/hadoop-3.1.3/etc/hadoop目录下)
cd /opt/module/hadoop-3.1.3/etc/hadoop
1.配置:hadoop-env.sh
在hadoop-env.sh文件中修改JAVA_HOME 路径: (在第54行修改)
export JAVA_HOME=/opt/module/jdk1.8.0_212
2.配置core-site.xml
进入命令:
vi core-site.xml
添加:
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop100:9820</value>
</property>
<!-- hadoop.data.dir是自定义的变量,下面的配置文件会用到 -->
<property>
<name>hadoop.data.dir</name>
<value>/opt/module/hadoop-3.1.3/data</value>
</property>
</configuration>
2.配置hdfs-site.xml(HDFS文件的配置)
进入命令:
vi hdfs-site.xml
添加:
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- namenode数据存放位置 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>file://${hadoop.data.dir}/name</value>
</property>
<!-- datanode数据存放位置 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>file://${hadoop.data.dir}/data</value>
</property>
<!-- secondary namenode数据存放位置 -->
<property>
<name>dfs.namenode.checkpoint.dir</name>
<value>file://${hadoop.data.dir}/namesecondary</value>
</property>
<!-- datanode重启超时时间是30s,解决兼容性问题,跳过 -->
<property>
<name>dfs.client.datanode-restart.timeout</name>
<value>30</value>
</property>
<!-- 设置web端访问namenode的地址 -->
<property>
<name>dfs.namenode.http-address</name>
<value>hadoop100:9870</value>
</property>
<!-- 设置web端访问secondary namenode的地址 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop102:9868</value>
</property>
</configuration>
3.配置yarn-site.xml(YARN文件的配置)
进入命令:
vi yarn-site.xml
添加:
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop101</value>
</property>
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
</configuration>
4.配置mapred-site.xml(MapReduce文件的配置)
进入命令:
vi mapred-site.xml
添加:
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
三,集群分发
1.把module目录拷贝到hadoop101,hadoop102(会运行一下等他结束就行):
切换路径:
cd /opt
scp -r module/ hadoop101:/opt/
scp -r module/ hadoop102:/opt/
2.把 /etc/profile拷贝到hadoop101,hadoop102
scp -r /etc/profile hadoop101:/etc
scp -r /etc/profile hadoop102:/etc
3.在hadoop101和hadoop102上分别要进行source /etc/profile
[root@hadoop101 opt]# source /etc/profile
[root@hadoop102 opt]# source /etc/profile
四,分布式集群格式化(分布式集群第一次启动之前要格式化格式化之前,要把三个服务器上的hadoop安装目录下的 data目录和logs目录都删掉)
切换路径:
cd /opt/module/hadoop-3.1.3
[root@hadoop100 opt]# rm -rf data
[root@hadoop100 opt]# rm -rf logs
在指定namenode运行的服务器上执行格式化(namenode指定在hadoop100上运行的):
命令:
hdfs namenode -format
五,集群单点启动
Hadoop100:
hdfs --daemon start namenode
hdfs --daemon start datanode
yarn --daemon start nodemanager
hadoop101:
yarn --daemon start resourcemanager
hdfs --daemon start datanode
yarn --daemon start nodemanager
hadoop102:
hdfs --daemon start secondarynamenode
hdfs --daemon start datanode
yarn --daemon start nodemanager
启动hdfs相关
hdfs --daemon start namenode
hdfs --daemon start datanode
启动yarn相关
yarn --daemon start resourcemanager
yarn --daemon start nodemanager
六,启动停止集群
如果集群上已经启动hadoop相关程序,可以先执行停止。
在hadoop100上执行以下脚本,用来启动hdfs:
[root@hadoop100] start-dfs.sh
在hadoop101上执行以下脚本,用来启动yarn:
[root@hadoop101] start-yarn.sh
停止集群:
在hadoop100上执行以下脚本,用来停止hdfs:
[root@hadoop100] stop-dfs.sh
在hadoop101上执行以下脚本,用来停止yarn:
[root@hadoop101] stop-yarn.sh