Linux Hadoop集群安装以及配置

1.下载Hadoop
Hadoop下载链接

选择版本

2.准备
三台服务器，没有的用虚拟机，使用xshell连接

-》Linux环境准备：每台机器都要做以下操作
-》每台机器的/etc/hosts中都要配置三台机器的映射
192.168.134.221 zhizuobiao.bigdata01.com
192.168.134.222 zhizuobiao.bigdata02.com
192.168.134.223 zhizuobiao.bigdata03.com
-》关闭所有机器的防火墙和selinux
-》使用普通用户登录：不要使用root用户来做
在securCRT中删除之前使用root登录的连接，新建一个普通用户的连接
-》创建对应的安装目录
sudo mkdir -p /opt/modules 软件安装的目录
sudo mkdir -p /opt/datas 放临时数据的目录
sudo mkdir -p /opt/tools 软件包的目录
sudo chown -R haitong:haitong /opt/modules
sudo chown -R haitong:haitong /opt/datas
sudo chown -R haitong:haitong /opt/tools
-》安装JDK：将自带的JDK卸载
1-下载解压
tar -zxvf /opt/tools/jdk-8u91-linux-x64.tar.gz -C /opt/modules
2-配置环境变量
sudo vim /etc/profile
添加一下内容
#JAVA_HOME
export JAVA_HOME=/opt/modules/jdk1.8.0_91
export PATH=$PATH:$JAVA_HOME/bin
刷新环境变量：source /etc/profile

		3-测试
			java -version	
			
				java version "1.8.0_91"
		
-》安装Hadoop
	-》规划HDFS的节点分布
		node1				node2				node3
		NameNode
		DataNode			DataNode			DataNode
	-》在第一台机器上安装：node1
		-》下载解压
			tar -zxvf /opt/tools/hadoop-2.7.3.tar.gz -C /opt/modules/
			
			bin：客户端操作命令
			etc：配置文件
			lib：依赖库
			sbin：管理类的命令
		-》修改配置
			http://hadoop.apache.org/docs/r2.7.6/hadoop-project-dist/hadoop-common/SingleCluster.html
			
			-》先修改/opt/modules/hadoop-2.7.3/etc/hadoop/core-site.xml
				执行：mkdir /opt/modules/hadoop-2.7.3/datas
				<!--指定整个HDFS唯一的入口，也是NameNode的地址-->
				<property>
					<name>fs.defaultFS</name>
					<value>hdfs://zhizuobiao.bigdata01.com:8020</value>
				</property>
				<!--指定Hadoop的临时本地目录-->
				<property>
					<name>hadoop.tmp.dir</name>
					<value>/opt/modules/hadoop-2.7.3/datas</value>
				</property>
			-》再修改/opt/modules/hadoop-2.7.3/etc/hadoop/hdfs-site.xml
				<!--配置每个文件块存储多少份，默认是3分-->
				<property>
					<name>dfs.replication</name>
					<value>3</value>
					</property>
			-》再修改/opt/modules/hadoop-2.7.3/etc/hadoop/slaves文件
				zhizuobiao.bigdata01.com
				zhizuobiao.bigdata02.com
				zhizuobiao.bigdata03.com
	-》分发给其他两台机器
		scp：跨机器复制
			询问yes或者no，输入yes
			询问输入密码：输入密码
		在第一台机器上执行：
			scp  -r hadoop-2.7.3/ haitong@192.168.134.222:/opt/modules/
			scp  -r hadoop-2.7.3/ haitong@192.168.134.223:/opt/modules/
	-》格式化文件系统：
		在第一次安装hadoop时，需要对hdfs进行格式化
		在NameNode那台机器上进行格式化：node1上执行
		bin/hdfs namenode -format
	-》启动服务
		在第一台机器上执行：
			sbin/hadoop-daemon.sh start namenode
			sbin/hadoop-daemon.sh start datanode
		在第二和第三台机器上执行：
			sbin/hadoop-daemon.sh start datanode
	-》测试
		NameNode网页端口：50070
		bin/hdfs dfs -mkdir /testHdfs
		bin/hdfs dfs -put /opt/tools/hadoop-2.7.3.tar.gz /testHdfs