Hadoop分布式安装

databig安装链接大数据----虚拟机自定义安装和配置jdk-CSDN博客

安装所需文件链接：https://pan.baidu.com/s/1259wcGKME_DebgQ1U9gdFA?pwd=wf06 
提取码：wf06 

分布式安装和伪分布式安装步骤相似

1.集群规划

集群规划：

	bigdata03	bigdata04	bigdata05
HDFS	NameNode，DataNode	SecondaryNameNode,DataNode	DataNode
YARN	NodeManager	NodeManager	ResourcesManager，NodeManager

集群规划时的两个注意点：

hdfs中的NameNode和SecondaryNameNode不要安装在同一个节点上

yarn中的ResourcesManager不要和NameNode和SecondaryNameNode在同一个节点上

2.克隆并配置主机名和ip地址

将上述文章安装的虚拟机databig 右击管理->克隆，克隆三次，名分别为databig03，databig04，databig05，注意要创建完整克隆

三台虚拟机依次cd /etc目录下 vim hostname ，分别将里面的内容替换为databig03，databig04，databig05

cd /etc/sysconfig/network-scripts/

vim ifcfg-ens33

分别将ip地址修改为192.168.174.103  ，192.168.174.104  ，192.168.174.105

reboot重启生效

3.解压hadoop

先在databig03上解压hadoop

cd /opt/install_packages/

将hadoop压缩包通过MobaXterm发送到/opt/install_packages下

将hadoop解压到/opt/softs下

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/softs/

解压完后改名

mv /opt/softs/hadoop-3.1.3/ /opt/softs/hadoop3.1.3/

4.配置环境变量

然后进入 cd hadoop3.1.3/

pwd命令，打印当前路径   /opt/softs/hadoop3.1.3

配置hadoop环境和进程用户

#HADOOP_HOME

export HADOOP_HOME=/opt/softs/hadoop3.1.3

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

vim /etc/profile   ,将上面的内容写进去

配置完毕后source /etc/profile （必须要source，不然修改不生效）

打印echo $HADOOP_HOME验证配置成功

5.做一下ip地址和主机的映射

cd /etc下 ，vim hosts， 在里面加一下三台主机的映射（ip地址+主机名），后面访问的时候根据这个配置的ip地址访问相应的主机

按esc保存，shift+z+z退出

另外；两台机器也需要映射，这里为了方便操作，直接使用远程传输命令 scp

scp 要远程传输的文件 目标主机的用户名@目标主机的IP或hostname:文件远程传输的位置

scp /etc/hosts root@databig04:/etc/

显示传输成功

在databig04上cat /etc/hosts，内容显示正确，传输映射无误

scp /etc/hosts root@databig05:/etc/

映射完05也可以cat查看一下

6.设置免密登录

需要三台虚拟机任意两两组合访问都是免密登录，分别在三台虚拟机下做以下操作

切换目录 cd /root

查看隐藏的内容 ls -al

 如果没有.ssh目录，可以先执行 ssh root@hostname（例如ssh root@databig02） 远程连接后 .ssh目录会被创建

cd .ssh

生成免密登录的公钥和私钥

ssh-keygen -t rsa (三个回车)

ll查看，第一个是私钥，第二个是公钥

将公钥发送给需要免密登录的虚拟机上

ssh-copy-id databig03

ssh-copy-id databig04

ssh-copy-id databig05

在databig04，databig05重复以上操作

7.集群搭建

1.根据集群规划修改集群配置文件

让hadoop找到java环境

回到databig03

cd /opt/softs/hadoop3.1.3/etc/hadoop/  

vim hadoop-env.sh

输入/JAVA_HOME按回车键搜索，找到#export JAVA_HOME= 所在行

去掉#并修改

export JAVA_HOME=/opt/softs/jdk1.8.0

/opt/softs/jdk1.8.0是你自己的jdk路径,可以通过输入echo $JAVA_HOME查看

esc保存，shift+z+z退出

四个xml文件配置

所用到的四个文件在网盘里下载，在本地修改好后再通过MobaXterm传输进虚拟机

core-site.xml文件，NameNode要改为自己集群规划时的主机名

hdfs-site.xml文件修改处，要换成自己规划的主机名，端口不用改

mapred-site.xml文件不用修改

yarn-site,xml文件

上传完成后分别用cat命令显示一下，检查内容是否正确

配置DataNode所在节点

vim workers  （还是在 /opt/softs/hadoop3.1.3/etc/hadoop/下  ）

删掉localhost ，内容替换为

databig03

databig04

databig05

（这里要注意三个节点分别占据一行，不能写在同一行里）

修改完cat查看一下

发送配置

将整个配置目录发送到另外两台上：

cd /opt/softs

scp -r /opt/softs/hadoop3.1.3 root@databig04:/opt/softs/

scp -r /opt/softs/hadoop3.1.3 root@databig05:/opt/softs/

传输完成后分别到databig04和databig05的/opt/softs目录下查看是否有hadoop3.1.3目录

在databig03上配置了环境变量，所以还要向04,05发送环境文件（profile内容基于hadoop目录，所以后发）

scp /etc/profile root@databig04:/etc/

scp /etc/profile root@databig05:/etc/

然后不要忘记传输完成后在04,05上执行 source /etc/profile

8.初始化操作

在NameNode所在节点执行初始化操作，这里是在databig03上执行

hdfs namenode -format

显示成功后 cd /opt/softs/hadoop3.1.3/

ll查看，看见data目录生成

在NameNode节点即03上启动hdfs

start-dfs.sh

三个节点分别jps一下查看进程

和集群规划的hdfs一样

在05上启动yarn

start-yarn.sh

三台机器jps一下

以上即为正确配置的情况

9.查看日志

每次启动时节点情况都应该是上面的样子，如果启动的时候发现少节点，可以通过看日志排查

假设03的DataNode节点没有，复制一个03窗口，到hadoop安装目录下

cd /opt/softs/hadoop3.1.3/

cd logs/

哪个没有启动成功就看哪个log

由于日志是实时写入的，所以可以用查看滚动日志的命令

tail -500f 日志路径（意思是查看日志的最新500行）

tail -500f hadoop-root-datanode-databig03.log

查看日志里的错误信息即可

10.退出关闭

不用时尽量不要强制关闭，使用命令关闭

stop-dfs.sh

stop-yarn.sh