先说说基本信息:
(1) Hadoop版本:hadoop-2.6.0-cdh-5.7.0
(2) 集群信息:
master:hadoop01
slaver1:hadoop02
slaver2:hadoop03
1.下载Hadoop
wget
2.解压
tar -zxvf hadoop-x.y.tar.gz
注意:为保守起见先 which hadoop 查看Hadoop是否安装成功
3.添加环境变量
vi /ect/profile
vi ~/.bash_profile
注意:两个环境变量区别:
/etc/bash_profile 表示系统整体设置,生效后系统内所有用户可用
~/.bash_profile 只表示当前用户的个人设置,生效后只该用户可用
4.配置Hadoop集群
先进入路径:cd /opt/hadoop-x.x.x/etc/hadoop/
注意:三台机器都要有!!
4.1 配置core-site.xml
4.2 配置hdfs-site.xml
4.3 配置mapred-site.xml
4.4 配置yarn-site.sml
4.5 配置slaves节点(Master主机持有,其他机器不用)
4.6配置hadoop-env.sh文件
5.设置namenode(只需要在hadoop01操作)
来到hadoop01的hadoop的bin目录
./hadoop namenode -format (这个命令只运行一次)
6.启动集群!
启动集群进入到 sbin
./start-all.sh
7.启动有问题
我遇到过两三次启动问题,基本都是配置时打错或者打漏代码了,建议先按顺序检查一遍