hadoop集群环境搭建

hadoop集群环境搭建

1.软件环境

Centos 7.6 : master（192.168.101.223），slave1（192.168.101.224），slave2（192.101.225）

hadoop版本：hadoop-2.8.5

2.安装包下载：

http://www.trieuvan.com/apache/zookeeper/hadoop-2.8.5

3.解压hadoop安装包到指定目录

tar zxvf  hadoop-2.8.5  -C /opt/bigdata/

4.配置/etc/hosts

Hadoop集群包含三台机器，所以需要修改调整各台机器的hosts文件配置，进入/etc/hosts，配置主机名和ip的映射，命令如下：

vim /etc/hosts

三台机器的内容统一增加以下host配置：

可以通过hostname来修改服务器名称:

查看所有服务器IP和对应的hostname在/etc/hosts增加配置如下:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rOjyumwj-1576426570959)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1569569763551.png)]

使用scp命令将修改的hosts文件拷贝到所有服务器/etc/目录下

5.hadoop的安装与配置

进入到hadoop 配置文件目录下

 cd /opt/bigdata/hadoop-2.8.5/etc/hadoop/

依次修改core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml以及slaves文件：

core-site.xml 文件配置：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FCqP1KKa-1576426570960)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1569570329411.png)]

hdfs-site.xml文件配置：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2qmYWoNf-1576426570960)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1569570618824.png)]

mapred-site.xml配置文件：

mapred-site.xml.template 修改成 mapred-site.xml 文件

cp mapred-site.xml.template mapred-site.xml

yarn-site.xml配置文件：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kLFsSLI5-1576426570961)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1569571009963.png)]

yarn.resourcemanager.hostname 配置为hadoop集群的master的hostname,如果没有就增加红线标注配置，存在就修改。

修改slaves文件

echo "master" > slaves
echo "slave1" > slaves
echo "slave2" > slaves

修改配置完成。

创建配置中添加的目录：

mkdir -p /opt/bigdata/hadoop-2.8.5/hdfs/data
mkdir -p /opt/bigdata/hadoop-2.8.5/hdfs/name
mkdir -p /opt/bigdata/hadoop-2.8.5/tmp

将修改完的配置发送到其他服务器：

scp -r /opt/bigdata/hadoop-2.8.5/etc/hadoop root@slave1:/opt/bigdata/hadoop-2.8.5/etc
scp -r /opt/bigdata/hadoop-2.8.5/etc/hadoop root@slave2:/opt/bigdata/hadoop-2.8.5/etc

6.启动hadoop服务

在主机上(master)格式化namenode:

cd /opt/bigdata/hadoop-2.8.5/bin
./hadoop namenode -format

启动NameNode 和 dataNode

cd /opt/bigdata/hadoop-2.8.5/sbin
./hadoop-daemon.sh start namenode
./hadoop-daemon.sh start datanode

也可以用start-dfs.sh代替：

./start-dfs.sh

运行Yarn

./start-yarn.sh

启动hadoop使用start-all.sh（start-dfs.sh和start-yarn.sh）

./start-all.sh

7.查看启动服务状态

cd /opt/bigdata/hadoop-2.8.5/bin
./hdfs dfsadmin -report

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-quWe4wzr-1576426570961)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1569572954183.png)]

查看状态正常

hadoop测试查看hdfs(hadoop hdfs管理界面为50070端口)

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-j5xm30Px-1576426570963)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1569573831752.png)]

yarn的管理界面查看（8088端口查看）

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-iMxS6ATl-1576426570964)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1569574587001.png)]

结束

                                                                                                                                                结束