- 安装JDK
- 关闭防火墙
service iptables stop
chkconfig iptables off - 关闭云主机的开机初始化
service cloud-init stop
chkconfig cloud-init off
service cloud-init-local stop
chkconfig cloud-init-local off - 修改主机名
vim /etc/sysconfig/network
修改HOSTNAME的值,例如将HOSTNAME修改为hadoop01
改完之后,保存退出,重新生效
source /etc/sysconfig/network - 将主机名和IP进行映射
vim /etc/hosts
添加IP 主机名
保存退出 - 重启
reboot - 免密登录
产生密钥:ssh-keygen — 一路回车,不需要输入任何数据
拷贝公钥:ssh-copy-id root@hadoop01
测试:ssh hadoop01 回车之后如果不需要任何密码,说明免密成功,那么输入logout - 下载Hadoop的安装包
cd /home/software/
wget http://bj-yzjd.ufile.cn-north-02.ucloud.cn/hadoop-2.7.5.tar.gz - 解压
tar -xvf hadoop-2.7.5.tar.gz - 进入子目录
cd hadoop-2.7.5/etc/hadoop/ - 编辑
vim hadoop-env.sh
修改属性
export JAVA_HOME=/home/presoftware/jdk1.8
export HADOOP_CONF_DIR=/home/software/hadoop-2.7.5/etc/hadoop
保存退出,重新生效
source hadoop-env.sh - 编辑
vim core-site.xml
添加
fs.defaultFS
hdfs://hadoop01:9000
hadoop.tmp.dir
/home/software/hadoop-2.7.5/tmp
保存退出 - 编辑
vim hdfs-site.xml
添加
dfs.replication
1
保存退出 - 编辑
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
添加
mapreduce.framework.name
yarn
保存退出 - 编辑
vim yarn-site.xml
添加
yarn.resourcemanager.hostname
hadoop01
yarn.nodemanager.aux-services
mapreduce_shuffle
保存退出 - 编辑
vim slaves
删除localhost,添加当前的主机名
保存退出 - 修改环境变量
vim /etc/profile
在文件尾部追加
export HADOOP_HOME=/home/software/hadoop-2.7.5
export PATH= P A T H : PATH: PATH:HADOOP_HOME/bin:$HADOOP_HOME/sbin
保存退出,重新生效
source /etc/profile - 格式化Hadoop
hadoop namenode -format
如果出现Storage directory /home/software/hadoop-2.7.5/tmp/dfs/name has been successfully formatted表示格式化成功 - 启动Hadoop
start-all.sh - 通过jps查看进程
Jps
NameNode 端口:50070
DataNode 端口:50075
SecondaryNameNode 端口:50090
ResourceManager 端口:8088
NodeManager
常见错误:
1. 如果出现Name or Service not known或者Unknown Host,那么说明主机名配置错误,检查/etc/hosts文件
2. 如果出现Command not found,那么说明环境变量配置错误,或者配置完成之后没有source
3. 如果缺少了NameNode/DataNode/SecondaryNameNode,那么检查core-site.xml/hdfs-site.xml是否配置正确
4. 如果缺少了ResourceManager/NodeManager,那么检查mapred-site.xml/yarn-site.xml是否配置正确