1.centos7下Hadoop2.8.4全分布搭建之HDFS集群搭建

1)搭建前的准备

		注意：（以下操作可以先配置一台，然后通过scp命令发送到其他两台虚拟机上
					发送到其他机器
					scp -r       主机名:       
					注意:加载环境变量 source /etc/profile
					免密登陆
				-》ssh-keygen 生成密钥对（回车）
				-》 ssh-copy-id 自己
				   	ssh-copy-id 其它
					ssh-copy-id 其它
			  ）
			  虚拟机可以通过安装一台，克隆两台快速完成三台虚拟机
			  
		1.准备三台虚拟机，一台作为namenode,两台datanode
			  我的虚拟机:192.168.232.132 master
						192.168.232.133 slave1
						192.168.232.134 slave2
		2.修改为静态ip
				cd /etc/sysconfig/network-scripts/目录下
				ls查看文件
				vi ifcfg-ens33   //其他电脑可能不一样
				将BOOTPROTO="dhcp" 修改为 BOOTPROTO=static

				namenode为例：
				在最后面加入
				IPADDR=192.168.232.132
				NETMASK=255.255.255.0
				GATEWAY=192.168.232.2		
				DNS1=8.8.8.8
				DNS2=4.4.4.4
				然后保存
				以上分别为IP地址，子网掩码，网关，DNS!

	
		可以通过上图的方式来查看自己的网关，子网掩码
		DNS可以通过windows下win+R输入ipconfig -all查看

	3.vi /etc/resolv.conf 指定DNS服务器位置
	在后面加入
	nameserver 8.8.8.8
	nameserver	4.4.4.4
	然后保存
	service network restart重启网络服务
	ping www.baidu.com检测下

    4.关掉防火墙
    systemctl stop firewalld 			停止防火墙服务
	systemctl  disable firewalld     关闭防火墙服务开机启动

	5.设置主机名
	修改三台主机名
	vi /etc/hostname
	(需要重启生效 reboot!!!)
	
	例：我要改第一台
	那就在配置文件中输入你要改的主机名然后保存
	
	我的三台虚拟机
	192.168.232.132 master
	192.168.232.133 slave1
	192.168.232.134 slave2
	
	6.配置映射文件(三台都得有才有效果哦)
	vi /etc/hosts
	前两行注释掉
	然后输入映射
	ip1 主机名1
	ip2 主机名2
	ip3 主机名3
	
	ping下其他两台虚拟机看看映射是否成功！！

2）安装jdk（我是通过SecureCRT进行操作的）

1）上传tar包
alt+p （进入传输协议）

2）解压tar包
tar -zxvf jdk 1.8.0_141  -C /usr/java

3）配置环境变量
vi /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_141
export PATH=$PATH:$JAVA_HOME/bin
保存
注意：加载环境变量 source /etc/profile		!!!!!!!!!!!!!!!!!!!!!

4)发送到其它机器
例发送到slave1上去:
scp -r usr/java/jdk1.8.0_141/ slave1:usr/java/
scp -r /etc/profile slave1:/etc

注意：加载环境变量 source /etc/profile

检查下   java -version，看环境变量是否配置成功

(这里可能会有些小问题，有些人的虚拟机原本就安装的有java1.8 rpm -qa | grep java 显示安装位置

java-1.8.0-openjdk-headless-1.8.0.101-3.b13.el7_2.x86_64
tzdata-java-2016f-1.el7.noarch
java-1.8.0-openjdk-1.8.0.101-3.b13.el7_2.x86_64
javapackages-tools-3.4.1-11.el7.noarch
java-1.7.0-openjdk-headless-1.7.0.111-2.6.7.2.el7_2.x86_64
java-1.7.0-openjdk-1.7.0.111-2.6.7.2.el7_2.x86_64
python-javapackages-3.4.1-11.el7.noarch

开始删除，不用删除完，留python开头的和tz开头的
rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.101-3.b13.el7_2.x86_64
rpm -e --nodeps java-1.8.0-openjdk-1.8.0.101-3.b13.el7_2.x86_64
rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.111-2.6.7.2.el7_2.x86_64
rpm -e --nodeps java-1.7.0-openjdk-1.7.0.111-2.6.7.2.el7_2.x86_64

然后你再按上面步骤安装就可以了

）

3)安装HDFS集群

1.传到虚拟机上，解压到/opt/hadoop,步骤和上面JAVA差不多，这里话不多说
		
2.进入/opt/hadoop/hadoop2.8.4/etc/hadoop下修改hadoop-env.sh
	export JAVA_HOME=/usr/java/jdk1.8.0_141 (这里注意下，直接修改他本来的JAVA_HOME就可以了)
	
3.修改core-site.xml(在configuration标签下配置)
 hadoop官方给的配置文件:
 
 ![core-default.xml](https://img-blog.csdn.net/20181013124111199?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNTk4MzQz/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
 
 我插入的配置：
 
 <property>
	<name>fs.defaultFS</name>
	<value>hdfs://master:9000</value>
</property>

4.修改hdfs-site.xml
<property>
	<name>dfs.namenode.name.dir</name>
	<value>/opt/hadoop/dfs/name</value>
</property>
<property>
	<name>dfs.datanode.data.dir</name>
	<value>/opt/hadoop/dfs/data</value>
</property>


5.配置hadoop环境变量(/etc/profile)
export JAVA_HOME=/usrt/java/jdk1.8.0_141
export HADOOP_HOME=/opt/hadoop/hadoop-2.8.4
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

6.
分发hadoop到其它机器
scp -r ~/opt/hadoop/hadoop-2.8.4/ slave1:/opt/hadoop/
scp -r ~/opt/hadoop/hadoop-2.8.4/ slave2:/opt/hadoop/

分发hadoop环境变量
scp -r /etc/profile  主机名:/etc
7.格式化namenode
hadoop namemode -format

8.启动namenode
hadoop-daemon.sh start namenode

9.启动datanode
hadoop-daemon.sh start datanode

10.访问namenode提供的web端口：50070

11.批量启动脚本
1）修改配置文件slaves
hd09-02
hd09-03

2）执行启动命令
start-dfs.sh
start-dfs.sh

通过jps可以看启动的节点.

3）总结

三台虚拟机-》静态Ip主机名映射免密-》JDK》HADOOP
常见问题:
1.环境变量：注意符号和字母
2.每次修改环境变量就要加载环境变量： source /etc/profile
3.注意配置信息不要直接复制，你的安装路径可能和我不同，先看一看再进行
暂时这么多，毕竟我没出多少问题，可惜，总结下HDFS集群搭建。