CentOS 6.5服务器两台
主机(hadoopMaster) : 10.144.255.45 -namenode
主机(hadoopSlave114...) : 10.163.189.82 -datanode
下载Hadoop安装文件xxxx.tar.gz放一份到Master上,各个slave从master上复制并稍加修改即可。
1. 解压 tar -xzvf hadoop-2.7.2.tar.gz 得到文件夹 hadoop-2.7.2,
重命名为hadoop : mv hadoop-2.7.2 hadoop
2. 配置环境变量
vi /etc/profile
最后加入:
source /etc/profile 生效
3. hadoop配置文件修改 /mnt/hadoop/etc/hadoop/
a> hadoop-env.sh export JAVA_HOME指定安装位置
b>core-site.xml
c>hdfs-site.xml 需要事先建好name和data文件夹
d> mapred-site.xml (cp marped-site.xml.template mapred-site.xml)
e> yarn-site.xml
f> 修改slaves文件
删除localhost ,增加hadoopSlave114xxx(你的slave主机名称)
4. Slave服务器上的hadoop配置
hadoop用户打开slave终端,复制master上的hadoop项目到本地目录
cd /mnt
sudo scp -r hadoop@10.144.255.45:/mnt/hadoop/ .
修改hadoop文件夹权限
sudo chown -R hadoop:hadoop hadoop/
直接删除/hadoop/etc/hadoop/slaves文件
配置环境变量:
source /etc/profile 生效
5. 格式化HDFS文件系统
hadoop用户登陆Master服务器,执行hadoop namenode -format
等待执行完成。
6. 启动
分别启动sbin/start-dfs.sh sbin/start-yarn.sh也可以使用sbin/start-all.sh
中间遇到提示框输入yes, 仅第一次有。
(推荐使用sbin/start-dfs.sh sbin/start-yarn.sh ,start-all.sh已经废弃)
jps查看启动情况
在slave上查看
说明启动成功,一切正常。
命令hdfs dfsadmin -report查看集群状态
测试mapreduce:使用自带示例程序:
圆周率:hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar pi 5 10
集群节点状态/文件系统监控访问:masterIp:18088 masterIp:50070如下