Hadoop V2:集群系统版本安装和启动配置
实验概述:
本实验手册是基于Hadoop2.6版本进行分布式配置,Linux系统是基于CentOS6.5 64位的版本。在此设置一个主节点和两个从节点。
准备3台虚拟机,分别为:
主机名 | IP地址 |
master | 192.168.80.10 |
slave1 | 192.168.80.11 |
slave2 | 192.168.80.12 |
可以根据自己的ip设置
注意:在提供的Oracle big data虚拟机平台上,hadoop已经安装完毕,该手册可以让学生课堂之余自己练习。
实验步骤:
1. 修改主机名称,把三个节点分别修改下面的文件,修改主机名为master,slave1,slave2(root用户操作),重启生效
vi /etc/sysconfig/network |
注意:如果在装系统的时候已经设置了主机名,则无需执行此操作
2. 把三个节点的防火墙关闭,在三个节点分别执行(root用户操作)
/etc/init.d/iptables stop |
注意:如果已经关闭了防火墙,则此步骤无需执行
3. 在三个节点修改配置hosts文件,在hosts文件中分别配置三个节点的主机名ip地址映射(root用户操作)
4. 在master和slave之间配置SSH互信(hadoop用户操作)
分别在master和slave1,master和slave2,master和master之间配置互信
a) 分别在master、slave1、slave2执行下面的命令生成公钥和私钥
ssh-keygen |
然后回车,然后会提示输入内容,什么都不用写,一路回车
在hadoop用户根目录下,有一个.ssh目录
id_rsa 私钥
id_rsa.pub 公钥
known_hosts 通过SSH链接到本主机,都会在这里有记录
b) 在master输入下面的命令,和master,slave1,slave2创建互信
ssh-copy-id master ssh-copy-id slave1 ssh-copy-id slave2 |
注意:复制的过程中需要输入信任主机的密码
c) 在slave1和slave2执行下面的命令,创建和master的互信
ssh-copy-id master |
注意:复制的过程中需要输入信任主机的密码
5. 把JDK和Hadoop安装包(资料包目录下的文件)上传到master节点系统(hadoop用户的根目录)
6. 在三个节点下面配置jdk。在hadoop用户的根目录,Jdk解压,(hadoop用户操作)
tar -zxvf jdk-8u65-linux-x64.tar.gz |
解压完成后,在hadoop用户的根目录有一个jdk1.8.0_65目录
7. 在三个节点配置环境变量,需要修改/etc/profile文件(root用户操作)
切到root用户,输入su命令
su vi /etc/profile |
进去编辑器后,输入i,进入vi编辑器的插入模式
在profile文件最后添加
JAVA_HOME=/home/hadoop/jdk1.8.0_65 export PATH=$PATH:$JAVA_HOME/bin |
编辑完成后,按下esc退出插入模式
输入:,这时在左下角有一个冒号的标识
q 退出不保存
wq 保存退出
q! 强制退出
8. 在三个节点把修改的环境变量生效(hadoop用户操作),jdk配置完成
source /etc/profile |
9. 下面配置hadoop,在hadoop用户的根目录,解压(hadoop用户操作)
tar -zxvf hadoop-2.6.0.tar.gz |
解压完成在hadoop用户的根目录下有一个hadoop-2.6.0目录
10. 修改配置文件hadoop-2.6.0/etc/hadoop/slaves,输入下面内容,每一行是一个从节点主机名称(hadoop用户操作)
slave1 slave2 |
11. 修改配置文件hadoop-2.6.0/etc/hadoop/hadoop-env.sh(hadoop用户操作)
export JAVA_HOME=/home/hadoop/jdk1.8.0_65 |
12. 修改配置文件hadoop-2.6.0/etc/hadoop/core-site.xml,添加(hadoop用户操作)
<property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <property> <name>io.file.buffer.size</name> <value>131072</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/hadoop/tmp</value> <description>Abasefor other temporary directories.</description> </property> |
13. 修改配置文件hadoop-2.6.0/etc/hadoop/hdfs-site.xml,添加(hadoop用户操作)
<property> <name>dfs.namenode.secondary.http-address</name> <value>master:9001</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/home/hadoop/hadoop/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/home/hadoop/hadoop/dfs/data</value> </property> <property> <name>dfs.replication</name> <value>2</value> </property> |
14. 修改修改配置文件hadoop-2.6.0/etc/hadoop/mapred-site.xml(hadoop用户操作)
这个文件没有,需要复制一份
cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml |
添加
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>master:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>master:19888</value> </property> |
15. 修改配置文件hadoop-2.6.0/etc/hadoop/yarn-site.xml,添加(hadoop用户操作)
<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>master:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>master:8030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>master:8035</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>master:8033</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>master:8088</value> </property> |
16. 将配置好的hadoop文件copy到另外slave机器上(hadoop用户操作)
scp -r hadoop-2.6.0/ hadoop@slave1:~/hadoop scp -r hadoop-2.6.0/ hadoop@slave2:~/hadoop |
17. 格式化HDFS,在hadoop解压目录下,执行如下命令:(hadoop用户操作)
bin/hdfs namenode -format |
注意:格式化只能操作一次,如果因为某种原因,集群不能用,需要再次格式化,需要把上一次格式化的信息删除,在三个节点用户根目录里执行 rm-rf /home/hadoop/hadoop/dfs
18. 启动集群,在hadoop解压目录下,执行如下命令:(hadoop用户操作)
启动集群:
sbin/start-all.sh |
19. 查看hadoop的web接口,在浏览器输入:主机名:50070。如:http://master:50070
20. 查看hadoop日志,在hadoop安装目录的logs子目录下