ssh安全登录

ssh远程登录安全协议
1.ssh-keygen
一直按回车即可

2.cd /home/hadoop/.ssh/验证公钥和私钥是否生成

注意：服务器想免密登录自己也需要配置免密登录
如果执行ssh-copy-id hostname报命令不存在那么就需要安装ssh,执行命令如下
sudo yun install -y openssh-clients
安装完成执行上面命令一直回车即可
将公钥推送到远端服务器上

ssh-copy-id -i ~/.ssh/id_rsa.pub 192.168.10.211

最后查看目录中文件如下

注：下面内容是针对上篇文章补充
配置好之后启动hadoop集群只需要执行下面命令即可

yarn集群的搭建
首先找到hadoop/etc/hadoop/mapred-site.xml.template文件，重名为mapred-site.xml
修改hadoop/etc/hadoop/mapred-site.xml文件

	<!--指定mapreduce程序运行在yarn平台上-->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>

2.	修改hadoop/etc/hadoop/yarn-site.xml文件

	<!--指定启动运行mapreduce上的nodemanager的运行服务-->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>

3.	<!--指定resourcemanager主节点机器，可选项，不一定要配置，默认是本机，但是指定了之后在其他机器上启动，就会报错-->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hostname</value>
	</property> 

4. 启动yarn
   sbin/yarn-daemon.sh start resourcemanager
   sbin/yarn-daemon.sh start nodemanager

5. 查看yarn外部web界面
   hostname或者IP地址 跟上8088端口号，外部通信http
   MapReduce historyserver 历史服务

---

1.	历史服务器：查看已经运行完成的应用记录
		修改mapred-site.xml
		指定historyserver的地址，内部和外部通信端口号，如果不指定默认是本机
		historyserver是一个轻量级的服务，可以部署在任意一台节点上
2.	配置（在mapred-site.xml中）：
	注意：这里的端口号不能随便修改
	<property>
	  <name>mapreduce.jobhistory.address</name>
	  <value>bd24-server1.ibeifeng.com:10020</value>
	</property>
	<property>
	  <name>mapreduce.jobhistory.webapp.address</name>
	  <value>bd24-server1.ibeifeng.com:19888</value>	  
	</property>

日志聚合功能

1.	修改yarn-site.xml
	指定开启聚合功能
	指定日志存放在HDFS上的时间期限，一般建议3-7天左右，存放在HDFS的/tmp/用户之下
	路径：/tmp/hadoop-yarn/staging/history/done/2018/10/21/000000
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>106800</value>
	</property> 

修改完之后重启所有的模块
sbin/mr-jobhistory-daemon.sh start historyserver启动历史服务