Hadoop 运行模式 03

(=ﾟДﾟ=)！

已于 2023-11-20 15:17:04 修改

阅读量339

点赞数 10

分类专栏： Hadoop 学习笔记文章标签： hadoop 大数据分布式

于 2023-11-15 23:16:07 首次发布

本文链接：https://blog.csdn.net/yifang1325/article/details/134401466

版权

Hadoop 学习笔记专栏收录该内容

14 篇文章 0 订阅

订阅专栏

本地运行模式（官方 WordCount）

在 hadoop-3.1.3 文件下面创建一个 wcinput 文件夹
在 wcinput 文件夹下创建一个 word.txt 文件
编辑 word.txt 文件

完全分布式运行模式（开发重点）

准备3台客户机（关闭防火墙、静态IP、主机名称）
安装 JDK
配置环境变量
安装 Hadoop
配置环境变量
配置集群
单点启动
配置 SSH
群起并测试集群

虚拟机准备

Hadoop 环境安装（开发重点）02-CSDN博客

编写集群分发脚本 xsync

scp（secure copy）安全拷贝

1.scp定义

scp可以实现服务器与服务器之间的数据拷贝。（from sever1 to server2）

2.基本语法

scp -r $pdir/$fname $user@$host:$pdir/$fname

命令递归要拷贝的文件路径/名称目的地用户@主机：目的地路径/名称

方式1：从102上拷贝数据到103上

方式2：把102上的数据拉取到103上

方式3：在103上操作，把102数据拷贝到104上

rsync 远程同步工具

1.rsync 定义

rsync 主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。

rsync 和 scp 区别：用 rsync 做文件的复制要比 scp 的速度快，rsync 在只对差异文件做更新。scp是把所有文件都复制过去。

2.基本语法

rsync -av $pdir$fname $user@$host:$pdir/$fname

命令选项参数要拷贝的文件路径/名称目的地用户@主机：目的地路径/名称

-a 归档拷贝

-v 显示复制过程

xsync 集群分发脚本

1.需求：循环复制文件到所有节点的相同目录下

2.需求分析：

a. rsync 命令原始拷贝：

rsync -av /otp/module kane@192.168.10.103:/otp/module

b. 期望脚本：

xsync 要同步的文件名称

c. 期望脚本在任何路径都能使用（脚本放在了全局环境变量的路径）

3.脚本实现

a. 在/home/kane/bin 目录下创建 xsync 文件

#!/bin/bash

#1. 判断参数个数
if [ $# -lt 1 ]
then
        echo Not Enough Argument!
        exit;
fi

#2. 遍历集群所有机器
for host in 192.168.10.102 192.168.10.103 192.168.10.104
do
        echo =======  $host  ======
        #3. 遍历所有目录，挨个发送
 
        for file in $@
        do
                #4. 判断文件是否存在
                if [ -e $file ]
                        then
                                #5. 获取父目录
                                pdir=$(cd -P $(dirname $file);pwd)

                                #6. 获取当前文件的名称
                                fname=$(basename $file)
                                ssh $host "mkdir -p $pdir"
                                rsync -av $pdir/$fname $host:$pdir
                        else
                                echo $file does not exits!
                fi
        done
done

SSH 免密登录配置

免密登录原理

配置公钥

以上操作将102公钥依次配置给102、103、104，同理103、104依次执行。（切换 root 用户，依次配置给102、103、104的 root 用户）

集群配置

集群部署规划

注意：

1、NameNode 和 SecondaryNameNode 不要安装在同一台服务器上

2、ResourceManager 也很消耗内存，不要和 NameNode、SecondaryNameNode配置在同一台服务器上

hadoop102

hadoop103

hadoop104

HDFS

Namenode

DataNode

SecondryNameNode

DataNode

YARN

NodeManager

ResourceManager

NodeManager

配置文件说明

Hadoop 配置文件分为两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。

1.默认配置文件：

要获取的默认文件	文件存放在 Hadoop 的 jar 包中的位置
core-default.xml	hadoop-common-3.1.3.jar/core-default.xml
hdfs-default.xml	hadoop-hdfs-3.1.3.jar/hdfs-default.xml
yarn-default.xml	hadoop-yarm-common-3.1.3.jar/yarn-default.xml
mapred-default.xml	hadoop-mapreduce-client-core-3.1.3.jar/mapred-default.xml

2.自定义配置文件

core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 四个配置文件存放在$HADOOP_HOME/etc/hadoop 这个路径上，用户可以根据项目需求重新进行修改配置。

3.配置集群

a、核心配置文件

配置 core-site.xml

[kane@hadoop102 hadoop]$ pwd
/opt/module/hadoop-3.1.3/etc/hadoop
[kane@hadoop102 hadoop]$ vim core-site.xml

<configuration>
    <!-- 指定 NameNode 的地址 -->
    <property>
      <name>fs.defaultFS</name>
      <value>hdfs://192.168.10.102:8020</value>
    </property>
    <!-- 指定 hadoop 数据的存储目录 -->
    <property>
      <name>hadoop.tmp.dir</name>
      <value>/opt/module/hadoop-3.1.3/data</value>
    </property>
</configuration>

配置 hdfs-site.xml

[kane@hadoop102 hadoop]$ pwd
/opt/module/hadoop-3.1.3/etc/hadoop
[kane@hadoop102 hadoop]$ vim hdfs-site.xml

<configuration>
    <!-- nn web 端访问地址 -->
    <property>
      <name>dfs.namenode.http-address</name>
      <value>192.168.10.102:9870</value>
    </property>
    <!-- 2nn web 端访问地址 -->
    <property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>192.168.10.104:9868</value>
    </property>
</configuration>

配置 yarn-site.xml

[kane@hadoop102 hadoop]$ pwd
/opt/module/hadoop-3.1.3/etc/hadoop
[kane@hadoop102 hadoop]$ vim yarn-site.xml

<configuration>
    <!-- 指定 RM 走 shuffle -->
    <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
    </property>
    <!-- 指定 ResourceManager 的地址 -->
    <property>
      <name>yarn.resourcemanager.hostname</name>
      <value>192.168.10.103</value>
    </property>
    <!-- 环境变量的继承 -->
    <property>
      <name>yarn.nodemanager.env-whitelist</name>
      <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

配置 mapred-site.xml

[kane@hadoop102 hadoop]$ pwd
/opt/module/hadoop-3.1.3/etc/hadoop
[kane@hadoop102 hadoop]$ vim mapred-site.xml

<configuration>
    <!-- 指定 MapReduce 程序运行在 Yarn 上 -->
    <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
    </property>
</configuration>

执行脚本分发（查看103、104脚本是否分发过去）

/opt/module/hadoop-3.1.3/etc
[kane@hadoop102 etc]$ xsync hadoop/

群起集群

配置 workers

[kane@hadoop102 hadoop]$ pwd
/opt/module/hadoop-3.1.3/etc/hadoop
[kane@hadoop102 hadoop]$ vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

注意：该文件中添加的内容结尾不允许有空格，文中不允许有空行。

[kane@hadoop102 hadoop]$ pwd
/opt/module/hadoop-3.1.3/etc/hadoop
[kane@hadoop102 hadoop]$ vim /opt/module/hadoop-3.1.3/etc/hadoop/workers 
[kane@hadoop102 hadoop]$ xsync workers

启动集群

1.如果集群时第一次启动，需要在 hadoop102 节点格式化 NameNode 。

注意：格式化 NameNode，会产生新的集群 id，导致NameNode 和 DataNode 的集群 id 不一致，集群找不到以往的数据。如果集群在运行过程中报错，需要重新格式化 NameNode 的话，一定要先停止 namenode 和 datanode 进程，并且要删除所有机器的 data 和 logs 目录，然后再进行格式化。

[kane@hadoop102 hadoop-3.1.3]$ pwd
/opt/module/hadoop-3.1.3
[kane@hadoop102 hadoop-3.1.3]$ hdfs namenode -format

2.启动HDFS（注意：启动命令容易打错成 sbin/start-yarn.sh 等其他相似命令，导致某些节点没启动）

[kane@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh

符合集群部署规划

hadoop102

hadoop103

hadoop104

HDFS

Namenode

DataNode

SecondryNameNode

DataNode

YARN

NodeManager

ResourceManager

NodeManager

在浏览器输入 192.168.10.102:9870

3.在配置了 ResourceManager 的节点（hadoop103）启动 YARN

[kane@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

hadoop102

hadoop103

hadoop104

HDFS

Namenode

DataNode

SecondryNameNode

DataNode

YARN

NodeManager

ResourceManager

NodeManager

在浏览器输入 192.168.10.103:8088

至此，集群全部启动成功！

启动失败排查（启动中出现的问题记录）

在启动 HDFS 时发现相应节点没有生成，通过查看日志发现是 core-site.xml 配置错误

[kane@hadoop102 /]$ cd /opt/module/hadoop-3.1.3/logs
[kane@hadoop102 logs]$ ll
总用量 80
-rw-rw-r--. 1 kane kane 31234 11月 15 00:32 hadoop-kane-datanode-hadoop102.log
-rw-rw-r--. 1 kane kane   691 11月 15 00:32 hadoop-kane-datanode-hadoop102.out
-rw-rw-r--. 1 kane kane 40785 11月 15 00:33 hadoop-kane-namenode-hadoop102.log
-rw-rw-r--. 1 kane kane   691 11月 15 00:31 hadoop-kane-namenode-hadoop102.out
-rw-rw-r--. 1 kane kane     0 11月 15 00:29 SecurityAuth-kane.audit
[kane@hadoop102 logs]$ cat hadoop-kane-namenode-hadoop102.log

修改完后，删除 data 和 logs 文件

[kane@hadoop102 hadoop-3.1.3]$ pwd
/opt/module/hadoop-3.1.3
[kane@hadoop102 hadoop-3.1.3]$ ll
总用量 176
drwxr-xr-x. 2 kane kane    183 9月  12 2019 bin
drwxrwxr-x. 3 kane kane     17 11月 15 00:29 data
drwxr-xr-x. 3 kane kane     20 9月  12 2019 etc
drwxr-xr-x. 2 kane kane    106 9月  12 2019 include
drwxr-xr-x. 3 kane kane     20 9月  12 2019 lib
drwxr-xr-x. 4 kane kane    288 9月  12 2019 libexec
-rw-rw-r--. 1 kane kane 147145 9月   4 2019 LICENSE.txt
drwxrwxr-x. 2 kane kane    205 11月 15 00:31 logs
-rw-rw-r--. 1 kane kane  21867 9月   4 2019 NOTICE.txt
-rw-rw-r--. 1 kane kane   1366 9月   4 2019 README.txt
drwxr-xr-x. 3 kane kane   4096 9月  12 2019 sbin
drwxr-xr-x. 4 kane kane     31 9月  12 2019 share
drwxrwxr-x. 2 kane kane     22 11月 14 16:10 wcinput
drwxr-xr-x. 2 kane kane     88 11月 14 16:34 wcoutput

最后再分发一下脚本再重新启动就好了

[kane@hadoop102 etc]$ xsync hadoop/

集群基本测试

1.上传文件到集群

测试1：上传小文件

[kane@hadoop102 hadoop-3.1.3]$ hadoop fs -mkdir /wcinput

[kane@hadoop102 hadoop-3.1.3]$ hadoop fs -put wcinput/word.txt /wcinput

测试2：上传大文件

[kane@hadoop102 hadoop-3.1.3]$ hadoop fs -put /opt/software/jdk-8u391-linux-x64.tar.gz /

# hdfp 存储数据的位置就在当前路径下
/opt/module/hadoop-3.1.3/data/dfs/data/current/BP-773536610-192.168.10.102-1699979354972/current/finalized/subdir0/subdir0

这时有个疑问，假如有很多个文件，如何知道哪些文件是归属于同一个压缩包呢？（暂未知晓）

今天做测试发现其中的缘由，来解答这个疑问，我们在客户端页面发现，当文件的大小超过块大小时，文件就会分开存储到多个块中，Block ID 就是对应这个文件。

Hadoop 具有高可用，任何一个服务器数据挂掉还有另外两份，页面显示有三个对应下面数据副本。

上传数据不涉及 YARN ,这回执行 wordcount 程序，看 YARN 是怎么工作的

[kane@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /wcinput /wcoutput

集群崩溃处理办法（重点）

假如集群异常，要怎么处理，处理的流程是怎样的

[kane@hadoop102 current]$ cat VERSION 
#Wed Nov 15 09:09:32 CST 2023
namespaceID=2045473268
clusterID=CID-49db1d29-4d57-45e7-8688-d82f05345373
cTime=1699979354972
storageType=NAME_NODE
blockpoolID=BP-773536610-192.168.10.102-1699979354972
layoutVersion=-64

开始搞破坏，看看能到什么程度

接下来进行处理，处理思路是：

遇到这样的问题，我们想如何让集群回归一个正常的状态，那么就要重新初始化集群，在初始化集群前要先把集群停掉，在集群停掉之前要先把 YARN 停掉。大概就是这样流程

1.在103服务器上把 YARN 停掉

[kane@hadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh

2.然后在102服务器上把集群停掉

3.接下来要准备初始化集群，但是先别着急，先看一下各个服务器上是否还存在 data 目录和 logs目录

[kane@hadoop102 hadoop-3.1.3]$ rm -rf data/ logs/

之前明明删除了为什么还会有，看下时间是刚创建不久的，那可能就是服务器发现没有 data 目录又自动创建的，所以要在格式化之前把 data 目录都删掉还有 logs 目录，另外两台服务器也检查全部删除。

4.接下来开始初始化

[kane@hadoop102 hadoop-3.1.3]$ hdfs namenode -format

5.启动集群

[kane@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh

6.启动 YARN

[kane@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

集群全部启动成功

集群虽然启动成功，但是之前的数据都没有了

配置历史服务器

为了查看程序的历史运行情况，需要配置一下历史服务器。步骤如下：

1.配置 mapred-site.xml

[kane@hadoop102 hadoop]$ pwd
/opt/module/hadoop-3.1.3/etc/hadoop
[kane@hadoop102 hadoop]$ vim mapred-site.xml

<configuration>
    <!-- 指定 MapReduce 程序运行在 Yarn 上 -->
    <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
    </property>
    <!-- 历史服务器端地址 -->
    <property>
      <name>mapreduce.jobhistory.address</name>
      <value>192.168.10.102:10020</value>
    </property>
    <!-- 历史服务器 web 端地址 -->
    <property>
      <name>mapreduce.jobhistory.webapp.address</name>
      <value>192.168.10.102:19888</value>
    </property>
</configuration>

# 注意：以下命令是在不同服务器内执行

# 1.关闭 YARN 
[kane@hadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh

# 2.关闭集群
[kane@hadoop102 hadoop-3.1.3]$ sbin/stop-dfs.sh

# 3.分发配置
[kane@hadoop102 hadoop]$ xsync mapred-site.xml

# 4.重启集群
[kane@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh

# 5.重启 YARN
[kane@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

# 6.启动历史服务器进程
[kane@hadoop102 hadoop]$ pwd
/opt/module/hadoop-3.1.3/etc/hadoop
[kane@hadoop102 hadoop]$ mapred --daemon start historyserver

# 如果启动失败，查看日志信息
[kane@hadoop102 logs]$ pwd
/opt/module/hadoop-3.1.3/logs
[kane@hadoop102 logs]$ cat hadoop-kane-historyserver-hadoop102.log

# 创建 wordcount 任务
[kane@hadoop102 hadoop-3.1.3]$ hadoop fs -mkdir /input
[kane@hadoop102 hadoop-3.1.3]$ hadoop fs -put wcinput/word.txt /input

[kane@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

配置日志的聚集

日志聚集的概念：应用运行完成以后，将程序运行日志信息上传到 HDFS 系统上。

日志聚集功能的好处：可以方便的查看程序运行详情，方便开发调试。

注意：开启日志聚集功能，需要重新启动 NodeManager、ResourceManager 和 HistoryServer。

开启日志聚集功能具体步骤如下：

1.配置 yarn-site.xml

[kane@hadoop102 hadoop]$ pwd
/opt/module/hadoop-3.1.3/etc/hadoop
[kane@hadoop102 hadoop]$ vim yarn-site.xml

<configuration>
    <!-- 指定 RM 走 shuffle -->
    <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
    </property>
    <!-- 指定 ResourceManager 的地址 -->
    <property>
      <name>yarn.resourcemanager.hostname</name>
      <value>192.168.10.103</value>
    </property>
    <!-- 环境变量的继承 -->
    <property>
      <name>yarn.nodemanager.env-whitelist</name>
      <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
    <!-- 开启日志聚集功能 -->
    <property>
      <name>yarn.log.aggregation-enable</name>
      <value>true</value>
    </property>
    <!-- 设置日志聚集服务地址 -->
    <property>
      <name>yarn.log.server.url</name>
      <value>http://192.168.10.102:19888/jobhistory/logs</value>
    </property>
    <!-- 设置日志保留时间为7天 -->
    <property>
      <name>yarn.log-aggregation.retain-seconds</name>
      <value>604800</value>
    </property>
</configuration>

# 同步分发
[kane@hadoop102 hadoop]$ xsync yarn-site.xml

# 单节点停止
[kane@hadoop102 hadoop]$ mapred --daemon stop historyserver

# 重启 YARN
[kane@hadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh
[kane@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

# 启动历史服务器
[kane@hadoop102 hadoop]$ mapred --daemon start historyserver

再次执行任务，查看日志聚集功能是否成功

# 创建 wordcount 任务
[kane@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output3

日志聚集功能完成

集群启动、停止方式总结

1.各个模块分开启动、停止（配置 ssh 是前提）常用

# 1.整体启动、停止 HDFS
start-dft.sh
stop-dft.sh

# 2.整体启动、停止 YARN
start-yarn.sh
stop-yarn.sh

2.各个服务组件逐一启动、停止

# 1.分别启动、停止 HDFS 组件
hdfs --daemon start namenode
hdfs --daemon start datanode
hdfs --daemon start secondarynamenode

hdfs --daemon stop namenode
hdfs --daemon stop datanode
hdfs --daemon stop secondarynamenode

# 2.启动、停止 YARN
yarn --daemon start resourcemanager
yarn --daemon start nodemanager

yarn --daemon stop resourcemanager
yarn --daemon stop nodemanager

编写 Hadoop 集群常用脚本

1.Hadoop 集群启停脚本（包含 HDFS、Yarn、Historyserver）：myhadoop.sh

[kane@hadoop102 bin]$ pwd
/home/kane/bin
[kane@hadoop102 bin]$ vim myhadoop.sh

#! /bin/bash
if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit;
fi

case $1 in
"start")
        echo "-----*-----启动 hadoop 集群-----*-----"

        echo "----------启动 hdfs ----------"
        ssh 192.168.10.102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
        echo "----------启动 yarn ----------"
        ssh 192.168.10.103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
        echo "----------启动 historyserver ----------"
        ssh 192.168.10.102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
        echo "-----*-----关闭 hadoop 集群-----*-----"

        echo "----------关闭 historyserver ----------"
        ssh 192.168.10.102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
        echo "----------关闭 yarn ----------"
        ssh 192.168.10.103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
        echo "----------关闭 hdfs ----------"
        ssh 192.168.10.102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
    echo "Input Args Error"
;;
esac

# 设置权限
[kane@hadoop102 bin]$ chmod 777 myhadoop.sh

2.查看多台服务器 java 进程脚本：jpsall

[kane@hadoop102 bin]$ pwd
/home/kane/bin
[kane@hadoop102 bin]$ vim jpsall

#! /bin/bash

for host in 192.168.10.102 192.168.10.103 192.168.10.104
do
        echo ----------$host----------
        ssh $host jps
done

# 设置权限
[kane@hadoop102 bin]$ chmod 777 jpsall

3.关机脚本

[kane@hadoop102 bin]$ pwd
/home/kane/bin
[kane@hadoop102 bin]$ vim shutdownall

#! /bin/bash

if [ $# -lt 1 ]
 then 
   echo "NO Args Input Error..."
   exit     
fi          
case $1 in  
"s")
  echo "---------------shutdown now---------------"
  ssh 192.168.10.104 "sudo shutdown -h now"
  ssh 192.168.10.103 "sudo shutdown -h now"
  ssh 192.168.10.102 "sudo shutdown -h now"
;;  
"r")
  echo "---------------reboot---------------"
  ssh -t 192.168.10.104 "sudo reboot"
  ssh -t 192.168.10.103 "sudo reboot"
  ssh -t 192.168.10.102 "sudo reboot"
;;
*)
echo "Input args Error..."
;;
esac

# 设置权限
[kane@hadoop102 bin]$ chmod 777 shutdownall

4.将102服务器上的脚本分发给103、104，这样其他服务器也能使用

[kane@hadoop102 ~]$ pwd
/home/kane
[kane@hadoop102 ~]$ xsync bin/

常用端口号说明（面试题）

端口名称	Hadoop2.x	Hadoop3.x
HDFS NameNode 内部通信端口	8020/9000	8020/9000/9820
HDFS NameNode 对用户查询端口	50070	9870
YARN MapReduce 查看执行任务端口	8088	8088
历史服务器端口	19888	19888

常用配置文件（面试题）

功能	Hadoop2.x	Hadoop3.x
配置 Hadoop 的基本属性，例如 HDFS 的默认文件系统、I/O和记录日志等设置	core-default.xml
配置 HDFS 的属性，例如数据块大小、副本数量、名字节点和数据节点的地址、缓存等	hdfs-default.xml
配置 YARN 的属性，例如资源管理器和节点管理器的地址、内存和CPU的分配、日志聚合等	yarn-default.xml
配置 MapReduce 的属性，例如作业跟踪器和任务跟踪器的地址、作业优先级、输出压缩等	mapred-default.xml
	slaves（奴隶）	workers（工作者）

集群时间同步

如果服务器在公网环境（能连接外网），可不采用集群时间同步，因为服务器会定期和公网时间进行校准。

如果服务器在内网环境。必须要配置i集群时间同步，否则时间久了，会产生时间偏差，导致集群执行任务时间不同步。

1.需求：找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，生产环境根据任务对时间的准确程度要求周期同步。测试环境为了尽快看到效果，采用1分钟同步一次。

2.时间服务器配置（必须是 root 用户）

a.查看所有节点 ntpd 服务状态和开机自启状态

# 切换 root 用户执行
[kane@hadoop102 ~]$ su root

# 查看所有节点 ntpd 服务状态和开机自启状态
[root@hadoop102 kane]# systemctl status ntpd

[root@hadoop102 kane]# systemctl start ntpd
[root@hadoop102 kane]# systemctl status ntpd

[root@hadoop102 kane]# systemctl is-enabled ntpd

b.修改 hadoop102 的 ntp.conf 配置文件

[root@hadoop102 kane]# vim /etc/ntp.conf

c.修改hadoop102的 /etc/sysconfig/ntpd 文件

[root@hadoop102 kane]# vim /etc/sysconfig/ntpd

3.其他机器配置（必须 root 用户）

a.关闭所有节点上 ntp 服务和自启动

[kane@hadoop103 hadoop-3.1.3]$ su root
[root@hadoop103 hadoop-3.1.3]# systemctl stop ntpd
[root@hadoop103 hadoop-3.1.3]# systemctl disable ntpd


[kane@hadoop104 hadoop-3.1.3]$ su root
[root@hadoop104 hadoop-3.1.3]# systemctl stop ntpd
[root@hadoop104 hadoop-3.1.3]# systemctl disable ntpd

b.在其他机器配置1分钟与时间服务器同步一次

# 103
[root@hadoop103 hadoop-3.1.3]# crontab -e

# 104
[root@hadoop104 hadoop-3.1.3]# crontab -e

(=ﾟДﾟ=)！

关注

10
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

Hadoop 运行模式 03

本地运行模式（官方 WordCount）

完全分布式运行模式（开发重点）

虚拟机准备

编写集群分发脚本 xsync

scp（secure copy）安全拷贝

rsync 远程同步工具

xsync 集群分发脚本

SSH 免密登录配置

免密登录原理

配置公钥

集群配置

集群部署规划

配置文件说明

群起集群

配置 workers

启动集群

启动失败排查（启动中出现的问题记录）

集群基本测试

集群崩溃处理办法（重点）

配置历史服务器

配置日志的聚集

集群启动、停止方式总结

编写 Hadoop 集群常用脚本

常用端口号说明（面试题）

常用配置文件（面试题）

集群时间同步