Hadoop完全分布式集群部署

1）集群部署规划

	bigdata111	bigdata112	bigdata113
HDFS	NameNode、SecondaryNameNode、DataNode	DataNode	DataNode
YARN	ResourceManager、NodeManager	NodeManager	NodeManager

2）创建data、logs

mkdir data logs

3）配置core-site.xml

vi core-site.xml
添加以下内容：

<!--指定HDFS中NameNode的地址-->
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://bigdata111:9000</value>
</property>
<!--指定hadoop运行时产生文件的存储目录-->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/home/xyp9x/hadoop-2.8.4/data</value>
</property>

<!--hive相关配置-->
<!--表示任意节点使用hadoop集群的代理用户xyp9x都能访问hdfs集群-->
<property>
	<name>hadoop.proxyuser.xyp9x.hosts</name>
	<value>*</value>
</property>
<!--表示代理用户xyp9x的组所属-->
<property>
	<name>hadoop.proxyuser.xyp9x.groups</name>
	<value>*</value>
</property>

<!--hadoop未授权访问漏洞-->
<property>
	<name>hadoop.http.filter.initializers</name>
	<value>org.apache.hadoop.security.AuthenticationFilterInitializer</value>
</property>
<property>
	<name>hadoop.http.authentication.type</name>
	<value>simple</value>
</property>
<property>
	<name>hadoop.http.authentication.token.validity</name>
	<value>3600</value>
</property>
<property>
	<name>hadoop.http.authentication.signature.secret.file</name>
	<value>/home/huser/hadoop/hadoop-http-auth-signature-secret</value>
<!--可动态配置，主从同样配置，并生成hadoop-http-auth-signature-secret文件，放到对应位置，内部为允许访问的用户，用user.name=“”访问-->
</property>
<property>
	<name>hadoop.http.authentication.cookie.domain</name>
	<value></value>
</property>
<property>
	<name>hadoop.http.authentication.simple.anonymous.allowed</name>
	<value>false</value>
</property>

4）配置hdfs-site.xml

vi hdfs-site.xml
添加以下内容：

<!--设置HDFS副本的数量-->
<property>
	<name>dfs.replication</name>
	<value>3</value>
</property>
<!--设置NameNode的http通讯地址-->
<property>
	<name>dfs.namenode.http-address</name>
	<value>bigdata111:50070</value>
</property>
<!--设置secondaryNameNode的http通讯地址-->
<property>
	<name>dfs.namenode.secondary.http-address</name>
	<value>bigdata111:50090</value>
</property>
<!--关闭权限-->
<property>
	<name>dfs.permissions</name>
	<value>false</value>
</property>
<!--设置namenode存放的路径-->
<property>
	<name>dfs.namenode.name.dir</name>
	<value>/home/xyp9x/hadoop-2.8.4/data/dfs/namenode</value>
</property>
<!--设置datanode存放的路径-->
<property>
	<name>dfs.datanode.data.dir</name>
	<value>/home/xyp9x/hadoop-2.8.4/data/dfs/datanode</value>
</property>

<!--hive相关，启用webhdfs-->
<property>
	<name>dfs.webhdfs.enabled</name>
	<value>true</value>
</property>

5）配置yarn-site.xml

vi yarn-site.xml
添加以下内容：

<!--reducer获取数据的方式-->
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>
<!--指定YARN的ResourceManager的地址-->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>bigdata111</value>
</property>
<!--日志聚集功能使能-->
<property>
	<name>yarn.log-aggregation-enable</name>
	<value>true</value>
</property>
<!--日志保留时间设置7天(秒)-->
<property>
	<name>yarn.log-aggregation.retain-seconds</name>
	<value>604800</value>
</property>

6）配置mapred-site.xml

mv mapred-site.xml.template mapred-site.xml

vi mapred-site.xml
添加以下内容：

<!--指定MR运行在YARN上-->
<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>
<!--历史服务器的地址-->
<property>
	<name>mapreduce.jobhistory.address</name>
	<value>bigdata111:10020</value>
</property>
<!--历史服务器web的地址-->
<property>
	<name>mapreduce.jobhistory.webapp.address</name>
	<value>bigdata111:19888</value>
</property>

7）分别在hadoop-env.sh、yarn-env.sh、mapred-env.sh添加路径

vi hadoop-env.sh
export JAVA_HOME=/home/xyp9x/jdk1.8.0_144

vi yarn-env.sh
export JAVA_HOME=/home/xyp9x/jdk1.8.0_144

vi mapred-env.sh
export JAVA_HOME=/home/xyp9x/jdk1.8.0_144

8）配置slaves

vi slaves

添加：
bigdata111
bigdata112
bigdata113

9）配置环境变量

vi /etc/profile

export HADOOP_HOME=/home/xyp9x/hadoop-2.8.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

10）将hadoop-2.8.4复制到112和113

scp -r hadoop-2.8.4/ xyp9x@bigdata112:`pwd`
scp -r hadoop-2.8.4/ xyp9x@bigdata113:`pwd`

11）格式化Namenode：三台删除data，logs，只在111格式化

rm -rf data logs
hdfs namenode -format

12）hadoop启动和停止命令

启动/停止 NN 和 DN和2NN: start|stop-dfs.sh
启动/停止 RM 和 NM：start|stop-yarn.sh
启动/停止 NN、DN、RM、NM、2NN：start|stop-all.sh
启动/停止 NN：hadoop-daemon.sh start|stop namenode
启动/停止 DN：hadoop-daemon.sh start|stop datanode
启动/停止 2NN：hadoop-daemon.sh start/stop secondarynamenode
启动/停止总资源管理器(RM): yarn-daemon.sh start|stop resourcemanager
启动/停止节点管理器(NM): yarn-daemon.sh start|stop nodemanager
启动/停止历史服务器: mr-jobhistory-daemon.sh start|stop historyserver