搭建伪分布式集群笔记（3）

搭建Hadoop分布式集群

步骤:

1.配置时间同步服务

2.设置环境变量

3. 格式化NameNode

4.启动关闭集群

5.关闭防火墙，做映射

6.脚本，启动集群

7.hadoop配置文件一些解释

1.配置时间同步服务

（1）检查是否安装ntp，yum源

rpm -qa | grep ntp
ntpstat

mount /dev/dvd /media
 yum repolist

（2）安装NTP服务。在各节点：

yum -y install ntp

（3）设置master节点为NTP服务主节点，
使用命令“vim /etc/ntp.conf”打开/etc/ntp.conf文件，注释掉以server开头的行，并添加:

restrict 192.168.0.0 mask 255.255.255.0 nomodify notrap//限制192.168开头的可以用
server 127.127.1.0  //master节点自身
fudge 127.127.1.0 stratum 10

（4）在所有slave节点中配置NTP，同样修改/etc/ntp.conf文件，注释掉server开头的行，并添加:

server master

（5）执行命令“service iptables stop & chkconfig iptables off”永久性关闭防火墙，主节点和从节点都要关闭。

service iptables stop & chkconfig iptables off

（6）启动NTP服务。
① 在master节点执行命令

service ntpd start & chkconfig ntpd on

② 在slave1、slave2、slave3上执行命令“ntpdate master”即可同步时间

ntpdate master

③ 在slave1、slave2、slave3上分别执行“service ntpd start & chkconfig ntpd on”即可启动并永久启动NTP服务。

service ntpd start & chkconfig ntpd on

2.设置环境变量

在/etc/profile添加JAVA_HOME和Hadoop路径，（各节点）

vim /etc/profile

export HADOOP_HOME=/usr/local/hadoop-2.6.0
export JAVA_HOME=/usr/java/jdk1.8.0_221-amd64
export PATH=$HADOOP_HOME/bin:$PATH:$JAVA_HOME/bin

使修改生效

source /etc/profile

3. 格式化NameNode

主节点

进入目录

cd /usr/local/hadoop-2.6.0/bin

执行格式化，不要多次格式化

 ./hdfs namenode -format

4.启动关闭集群

在master节点

cd /usr/local/hadoop-2.6.0/sbin

执行启动：

./start-dfs.sh
./start-yarn.sh
./mr-jobhistory-daemon.sh start historyserver

查看进程

jps

主节点：

从节点：


关闭

./stop-yarn.sh
./stop-dfs.sh
./mr-jobhistory-daemon.sh stop historyserver

5.关闭防火墙，做映射

（1）关闭防火墙

service iptables stop
chkconfig iptables off
service iptables status

（2）在Windows下做ip映射

C:\Windows\System32\drivers\etc

192.168.128.130 master  master.centos.com
192.168.128.131 slave1  slave1.centos.com
192.168.128.132 slave2  slave2.centos.com
192.168.128.133 slave3  slave3.centos.com

（3）启动集群

master可用实际IP代替

http://master:50070

http://master:8088

http://master:19888

6.脚本，启动集群

vim  start-hadoop.sh

./start-dfs.sh
./start.yarn.sh
./mr-jobhistory-daemon.sh start historyserver

赋予执行权限

chmod +x start-hadoop.sh

7.hadoop配置文件一些解释

参考书籍
《教材-Hadoop大数据开发基础》 ----人民邮电出版社