第3集 vmware虚拟机安装最牛B教程（14天）

集起集群

配置 workers

[atguigu@hadoop102 hadoop]$ vim /opt/module/hadoop- 3.1.3/etc/hadoop/workers

在该文件中增加如下内容：

hadoop102

hadoop103

hadoop104

分发配置的workers文件

[atguigu@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc

启动集群

1.第一次启动集群，需要格式化集群

如果集群是第一次启动，需要在 hadoop102 节点格式化 NameNode（注意：格式 化NameNode，会产生新的集群 id，导致 NameNode 和 DataNode 的集群 id 不一致，集群找 不到已往数据。如果集群在运行过程中报错，需要重新格式化 NameNode 的话，一定要先停 止 namenode 和 datanode 进程，并且要删除所有机器的 data 和 logs 目录，然后再进行格式 化。）格式化命令：[atguigu@hadoop102 hadoop-3.1.3]$ hdfs namenode -format

启动HDFS：[atguigu@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh

因为ResourceManager配置在hadoop103上；所有因为在hadoop103上面启动YARN。                启动YARN命令：[atguigu@hadoop102 hadoop-3.1.3]$ sbin/start-yarn.sh

正确处理故障方法（前提bin目录和etc目录没有被破坏）

1先杀死进程

[atguigu@hadoop102 hadoop-3.1.3]$ sbin/stop-dfs.sh

[atguigu@hadoop102 hadoop-3.1.3]$ sbin/stop-yarn.sh

2.删除每个节点上的data和logs

[atguigu@hadoop102 hadoop-3.1.3]$ rm -rf data/ logs/
 
[atguigu@hadoop103 hadoop-3.1.3]$ rm -rf data/ logs/
 
[atguigu@hadoop104 hadoop-3.1.3]$ rm -rf data/ logs/
------------------------------------------------------------

3.格式化集群

[atguigu@hadoop102 hadoop-3.1.3]$ hdfs namenode -format

4.启动集群

[atguigu@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh

配置历史服务器

1） 配置 mapred-site.xml

只需在mapred-site.xml配置文件加两个参数：
 

[atguigu@hadoop102 hadoop-3.1.3]$ vim mapred-site.xml
 
 
在该文件里面增加如下配置。
 
输入 i 进入编辑；ESC退出编辑；shift+：保存并退出
<!-- 历史服务器端地址 -->
<property>
 <name>mapreduce.jobhistory.address</name>
 <value>hadoop102:10020</value>
</property>
<!-- 历史服务器 web 端地址 -->
<property>
 <name>mapreduce.jobhistory.webapp.address</name>
 <value>hadoop102:19888</value>
</property>
2）给每个节点分发配置

[atguigu@hadoop102 hadoop]$ xsync mapred-site.xml

在hadoop102上面启动历史服务器

[atguigu@hadoop102 hadoop]$ mapred --daemon start historyserver

查看历史服务器是否启动成功：[atguigu@hadoop102 hadoop]$ jps

配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS 系统上

日志聚集功能的好处：可以方便的查看程序运行详情，方便开发调试

注意：开启日志聚集功能，需要重新启动NodeManager、ResourceManager、HistoryServer。

1.配置yarn-site.xml

[atguigu@hadoop102 hadoop]$ vim yarn-site.xml

在文件下面配置如下内容

<!-- 开启日志聚集功能 -->

<property>

<name>yarn.log-aggregation-enable</name>

<value>true</value>

</property>

<!-- 设置日志聚集服务器地址 -->

<property>

<name>yarn.log.server.url</name>

<value>http://hadoop102:19888/jobhistory/logs</value>

</property>

<!-- 设置日志保留时间为 7 天 -->

<property>

<name>yarn.log-aggregation.retain-seconds</name>

<value>604800</value>

</property>

分发配置：[atguigu@hadoop102 hadoop]$ xsync yarn.site.xml

因为更改了yarn的配置，所以需要重启yarn；HDFS配置没有修改，所以不需要重启HDFS

所以需要重启yarn和historysever

[atguigu@hadoop103 hadoop-3.1.3]$ sbin/stop.yarn.sh
关闭YARN
[atguigu@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh
启动YARN
因为yarn搭配在hadoop103上，所以要在hadoop103上启动

[atguigu@hadoop102 hadoop-3.1.3]$mapred --daemon stop historyserver
关闭历史服务器
[atguigu@hadoop102 hadoop-3.1.3]$mapred --daemon start historyserver
启动历史服务器

集群启动/停止的方式总结（常用）

各个模块分开启动/停止（配置 ssh 是前提）

（1）整体启动/停止 HDFS ：start-dfs.sh/stop-dfs.sh

（2）整体启动/停止 YARN ：start-yarn.sh/stop-yarn.sh

各个服务组件逐一启动/停止

（ 1 ）分别启动 / 停止 HDFS 组件

hdfs --daemon start/stop namenode/datanode/secondarynamenode

（ 2 ）启动 / 停止 YARN（hadoop103）（在配置yarn的节点上面启动）

yarn --daemon start/stop resourcemanager/nodemanager

编写Hadoop集群常用脚本

Hadoop 集群启停脚本（包含 HDFS，Yarn，Historyserver）：myhadoop.sh

在bin目录下创建一个文档myhadoop.sh

[atguigu@hadoop102 ~]$ cd /home/atguigu/bin
[atguigu@hadoop102 bin]$ vim myhadoop.sh

在新建文件下配置如下内容

i 进入编辑；Esc退出编辑； shift+ ：+ wq保存并退出
添加内容如下：
 
#!/bin/bash
if [ $# -lt 1 ]
then
 echo "No Args Input..."
 exit ;
fi
case $1 in
"start")
 echo " =================== 启动 hadoop 集群 ==================="
 echo " --------------- 启动 hdfs ---------------"
 ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
 echo " --------------- 启动 yarn ---------------"
ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
 echo " --------------- 启动 historyserver ---------------"
 ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start 
historyserver"
;;
"stop")
 echo " =================== 关闭 hadoop 集群 ==================="
 echo " --------------- 关闭 historyserver ---------------"
 ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop 
historyserver"
 echo " --------------- 关闭 yarn ---------------"
 ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
 echo " --------------- 关闭 hdfs ---------------"
 ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
 echo "Input Args Error..."
;;
esac

修改脚本权限

[atguigu@hadoop102 bin]$ chmod 777 myhadoop.sh

分发脚本

[atguigu@hadoop102 bin]$ xsync myhadoop.sh

测试脚本

[atguigu@hadoop102 bin]$ myhadoop.sh start    打开集群
[atguigu@hadoop102 bin]$ myhadoop.sh stop   关闭集群

配置查看三台服务器Java进程脚本：jpsall

在bin目录下创建一个文件jpsall

[atguigu@hadoop102 ~]$ cd /home/atguigu/bin
[atguigu@hadoop102 bin]$ vim jpsall

配置内容如下

#!/bin/bash
for host in hadoop102 hadoop103 hadoop104
do
 echo =============== $host ===============
 ssh $host jps 
done

修改脚本权限

[atguigu@hadoop102 bin]$ chmod 777 jpsall

分发脚本

[atguigu@hadoop102 bin]$ xsync jpsall

测试jpsall脚本

[atguigu@hadoop102 bin]$ jpsall

查看每个节点上的配置是否一致

常见错误及解决方案

1、防火墙没关闭、或者没有启动YARN

2、主机名称配置错误

3、IP地址配置错误

4、ssh没有配置好

5、root用户和atguigu两个用户启动集群不统一

6、配置文件修改不细心

7、不识别主机名称

java.net.UnknownHostException: hadoop102: hadoop102
 at 
java.net.InetAddress.getLocalHost(InetAddress.java:1475)
 at 
org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(Job
Submitter.java:146)
 at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)
 at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287)
 at java.security.AccessController.doPrivileged(Native 
Method)
at javax.security.auth.Subject.doAs(Subject.java:415)

解决方法：

1）在/etc/hosts文件中添加192.168.10.102 hadoop102

2）主机名称不要起hadoop hadoop000等特殊名称

8、DataNode和NameNode进程同时只能工作一个

9、执行命令不生效，粘贴word中命令时，遇到-和长_没区分开。导致命令失效

解决方法：尽量不要粘贴word中的代码，或者重新配置文件

10、jps不生效：原因全局变量hadoop java没有生效。

解决方法：需要source /etc/profile文件。

11、8088端口连接不上

解决方法：[atguigu@hadoop102 home]$ cat /etc/hosts

注释掉如下代码

#127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

#::1 hadoop102