Hadoop集群安装

1-> 集群的准备工作

1）关闭防火墙(进行远程连接)
systemctl stop firewalld
systemctl -disable firewalld
2）永久修改设置主机名
vi /etc/hostname
注意：需要重启生效->reboot
3）配置映射文件
vi /etc/hosts
#127.0.0.1   localhost
localhost.localdomain localhost4 localhost4.localdomain4
#::1   
localhost
localhost.localdomain localhost6 localhost6.localdomain6
192.168.50.183 hd09-01
192.168.50.184 hd09-02
192.168.50.185 hd09-03

2-> 安装jdk

1）上传tar包
alt+p
2）解压tar包
tar -zxvf jdk
3）配置环境变量
vi /etc/profile
export JAVA_HOME=/root/hd/jdk1.8.0_141
export PATH=$PATH:$JAVA_HOME/bin
注意：加载环境变量 source /etc/profile
4）发送到其它机器
scp -r hd/jdk1.8.0_141/ hd09-03:hd/jdk1.8.0_141
scp -r /etc/profile hd09-02:/etc
注意：加载环境变量 source /etc/profile
5）配置ssh免密登录
-》ssh-keygen 生成密钥对
-》 ssh-copy-id 自己
ssh-copy-id 其它
ssh-copy-id 其它

3-> 安装HDFS集群

1) 修改hadoop-env.sh
export JAVA_HOME=/root/apps/jdk1.8.0_60
2) 修改core-site.xml
<configuration>
//配置hdfs
<property>
<name>fs.defaultFS</name>
<value>hdfs://hd-01:9000</value>
</property>
</configuration>
3) 修改hdfs-site.xml
<configuration>
//配置元数据存储位置
<property>
<name>dfs.namenode.name.dir</name>
<value>/root/hd/dfs/name</value>
</property>
//配置数据存储位置
<property>
<name>dfs.datanode.data.dir</name>
<value>/root/hd/dfs/data</value>
</property>
</configuration>
4)格式化namenode
hadoop namemode -format
5)分发hadoop到其它机器
scp -r ~/hd/hadoop-2.8.4/ hd09-02:/root/hd/
scp -r ~/hd/hadoop-2.8.4/ hd09-03:/root/hd/
6)配置hadoop环境变量
export JAVA_HOME=/root/hd/jdk1.8.0_141
export HADOOP_HOME=/root/hd/hadoop-2.8.4
export
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
7)分发hadoop环境变量
scp -r /etc/profile hd09-02:/etc
注意：加载环境变量 source /etc/profile
8)启动namenode；启动一台
hadoop-daemon.sh start namenode
[root@bigdata121 hadoop-2.7.3]# jps
16048 NameNode
17354 Jps
9)启动datanode；启动多台
hadoop-daemon.sh start datanode
[root@bigdata122 /]# jps
8599 DataNode
8685 Jps
[root@bigdata123 ~]# jps
8597 DataNode
8639 Jps
10)访问namenode提供的web端口：50070
例如：http://192.168.144.121:50070

4-> 自动批量的启动脚本

1）修改配置文件slaves，只需要修改一台机器即可，但必须在这台机器上启动
[root@bigdata121 hadoop]# cd
/opt/module/hadoop-2.7.3/etc/hadoop/
[root@bigdata121 hadoop]# vi  slaves 
BigData122
BigData123
hd09-02
hd09-03
2）执行启动命令
start-dfs.sh
将 SecondaryNameNode副本存储到其他机器中——增加数据安全性
1、修改BigData121 配置文件（将SecondaryNameNode存储到BigData122中）
[root@bigdata121 hadoop]# vi
/opt/module/hadoop-2.7.3/etc/hadoop/hdfs-site.xml
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>BigData122:50090</value>
<description>
The secondary namenode http server address and
port.
</description>
</property>
2、stop-dfs.sh后使用jps查看进程
如果不能关闭，使用  kill -9 进程id 
关闭进程
3、 将配置文件拷贝到其他机器中，
[root@bigdata121 hadoop]# scp -r hdfs-site.xml
BigData123:/opt/module/hadoop-2.7.3/etc/hadoop/
[root@bigdata121 hadoop]# scp -r hdfs-site.xml
BigData122:/opt/module/hadoop-2.7.3/etc/hadoop/
4、start-dfs.sh