ApacheHadoop 分布式集群搭建（二）集群配置与运行测试

最新推荐文章于 2024-07-06 03:08:00 发布
最新推荐文章于 2024-07-06 03:08:00 发布
阅读量200 收藏
点赞数
分类专栏： 大数据 Linux 文章标签： 大数据 hadoop linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39245001/article/details/119281613
版权

Hadoop 集群配置

安装Hadoop

1. 安装 Hadoop

  • 版本信息
    安装Hadoop版本信息为 Apache Hadoop 原始版本，版本号为：2.9.2

    链接:https://pan.baidu.com/s/1mSYVBWEQsZRX-npBOA2cXw
    提取码: ceck

  • 上传文件
    文件上传到主机1（ linux121）中，路径信息为： /opt/lagou/software/
    修改文件权限：

    ​ chmod 755 hadoop-2.9.2.tar.gz
    修改完成后文件如下图所示：

  • 安装 Hadoop
    进行解压，并设置解压路径为 ：
    tar -zxvf hadoop-2.9.2.tar.gz -C /opt/lagou/servers
    查看是否解压成功
    ll /opt/lagou/servers/hadoop-2.9.2

  • 修改目录用户和用户组

    Hadoop安装目录所属用户和所属用户组信息，默认是501 dialout，而我们操作Hadoop集群的用户使
    用的是虚拟机的root用户，为了避免出现信息错乱，修改Hadoop安装目录所属用户和用户组

    chown -R root:root /opt/lagou/servers/hadoop-2.9.2

    修改后的结果参照上图

  • Hadoop 目录说明

2. 添加环境变量

  • 添加环境变量

    ​ vim /etc/profile

  • 添加内容：

    # HADOOP_HOME
export HADOOP_HOME=/opt/lagou/servers/hadoop-2.9.2 # Hadoop安装目录
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

  • 刷新，使环境变量生效

    ​ source /etc/profile

  • 验证

    ​ hadoop version

集群规划

框架主机1 (linux121)主机2 (linux122)主机3 (linux123)
HDFSNameNode、DataNodeDataNodeSecondaryNameNode、DataNode
YarnNodeManagerNodeManagerNodeManager、ResourceManager

需要配置的内容
Hadoop集群配置 = HDFS集群配置 + MapReduce配置 + Yarn配置

  1. HDFS 集群配置
    1. 将 JDK 路径明确配置给 HDFS，修改文件为： hadoop-env.sh
    2. 指定 namenode 节点以及数据存储目录，修改文件为： core-site.xml
    3. 指定 secondarynamenode 节点，修改文件为：hdfs-site.xml
    4. 指定 datanode 从节点，每个节点配置信息占一行，修改文件为：etc/hadoop/slaves
  2. MapReduce 集群配置
    1. 将 jdk 路径明确配置给 MapReduce，修改文件为：**mapred-env.sh **
    2. 指定 MapReduce 计算框架运行 Yarn 资源调度框架，修改文件为：mapred-site.xml
  3. Yarn 集群配置
    1. 将JDK路径明确配置给Yarn，修改文件为：yarn-env.sh
    2. 指定 ResourceManager 老大节点所在计算机节点，修改文件为：yarn-site.xml
    3. 指定 NodeManager 节点，通过 slaves 文件内容确定
  4. 配置历史服务器
    1. 设置历史服务器节点，修改文件为： mapred-site.xml
    2. 配置日志聚集，修改文件为：**yarn-site.xml **
  • 涉及到的文件及目录（部分）

配置集群

1. HDFS 集群配置

切换目录为： cd /opt/lagou/servers/hadoop-2.9.2/etc/hadoop

  • 修改 hadoop-env.sh 文件，将jdk明确配置给 HDFS

    vim hadoop-env.sh

# 修改或者添加的内容为
export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231

  • 指定 namenode 节点以及数据存储目录

    vim core-site.xml

# 要添加的内容为： 
<!-- 指定HDFS中NameNode的地址 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://linux121:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/lagou/servers/hadoop-2.9.2/data/tmp</value>
</property>

  • 指定secondarynamenode节点

    vim hdfs-site.xml

# 要添加的内容
<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>linux123:50090</value>
</property>
<!--副本数量 -->
<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>

  • 指定datanode从节点

    vim slaves

# 添加的内容为
linux121
linux122
linux123

    !!! 该文件中添加的内容结尾不允许有空格，文件中不允许有空行

2. MapReduce集群配置

  • 指定MapReduce使用的jdk路径

    vim mapred-env.sh

# 要添加或者修改的内容
export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231

    在这里插入图片描述

  • 指定MapReduce计算框架运行Yarn资源调度框架

    # 修改文件名，去掉 template 后缀
mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

# 添加的内容
<!-- 指定MR运行在Yarn上 -->
<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

3. Yarn集群配置

  • 指定JDK路径

    vim yarn-env.sh

# 添加的内容
export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231

  • 指定ResourceMnager的master节点信息

    vim yarn-site.xml

# 添加的内容
<!-- 指定YARN的ResourceManager的地址 -->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>linux123</value>
</property>
<!-- Reducer获取数据的方式 -->
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>

  • 指定 nodemanager 节点

    配置 HDFS 时已经设置过，无需再修改。要设置的文件为： slaves

4. 配置历史服务器

  • 设置历史服务器节点

    vim mapred-site.xml

# 添加的内容
<!-- 历史服务器端地址 -->
<property>
	<name>mapreduce.jobhistory.address</name>
	<value>linux121:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property>
	<name>mapreduce.jobhistory.webapp.address</name>
	<value>linux121:19888</value>
</property>

  • 配置日志聚集

    vim yarn-site.xml

# 添加的内容
<!-- 日志聚集功能使能 -->
<property>
	<name>yarn.log-aggregation-enable</name>
	<value>true</value>
</property>
<!-- 日志保留时间设置7天 （按需求进行设置）-->
<property>
	<name>yarn.log-aggregation.retain-seconds</name>
 	<value>604800</value>
</property>
<property>
 	<name>yarn.log.server.url</name>
 	<value>http://linux121:19888/jobhistory/logs</value>
</property>

第一台主机的全部配置已完成，剩余主机的配置一样的设置。接下来使用 rsync 进行文件分发，将Hadoop 内容分发给剩余主机。

分发配置

rsync 工具

  • rsync 远程同步工具

    rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。

    • 基本语法

      # 基本语法
rsync -rvl $pdir/$fname $user@$host:$pdir/$fname
# 说明 命令	选项参数	要拷贝文件路径/名称	目的用户名@主机地址:目的路径/名称

    • 选项参数说明

      选项功能
      -r递归
      -v显示复制过程
      -l拷贝符号连接

  • 安装 rsync

    yum install -y rsync

  • 编写分发脚本

    在 /usr/lcoal/bin 目录下创建文件： rsync-script，并修改文件权限

    cd /usr/lcoal/bin
touch rsync-script
chmod 777 rsync-script

    创建好的文件如下图所示：

    添加内容：

    vim rsync-script

# 添加的脚本内容
#!/bin/bash
#1 获取命令输入参数的个数，如果个数为0，直接退出命令
paramnum=$#
if((paramnum==0)); then
echo no params;
exit;
fi
#2 根据传入参数获取文件名称
p1=$1
file_name=`basename $p1`
echo fname=$file_name
#3 获取输入参数的绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir
#4 获取用户名称
user=`whoami`
#5 循环执行rsync
for((host=121; host<124; host++)); do
echo ------------------- linux$host --------------
rsync -rvl $pdir/$file_name $user@linux$host:$pdir
done

  • 测试脚本功能

    # 将该脚本分发到其它两台主机上
rsync-script rsync-script

  • 切换主机查看文件是否拷贝完成

分发配置

  • 调用脚本分发Hadoop安装目录到其它节点

    rsync-script /opt/lagou/servers/hadoop-2.9.2

  • 分发完成后进行按照 环境配置 分别为其余主机添加Hadoop环境变量

  • 分发完成后进行验证

集群启动

  • 非第一次不可以执行格式化

  • 第一次启动前在 namenode 节点进行格式化 namenode

    格式化命令 hadoop namenode -format

    格式化后创建的文件目录： cd /opt/lagou/servers/hadoop-2.9.2/data/tmp/dfs/name/current

单节点启动

  1. 在主机1上启动 namenode

    启动并查看进程

     # 启动
 hadoop-daemon.sh start datanode
 # 查看
 jps

  2. 在三台主机上分别启动 datanode

    # 启动datanode
hadoop-daemon.sh start datanode
# 查看当前进程
jps

  3. web端查看 hdfs 界面

    url : http://linux121:50070/dfshealth.html#tab-overview

    图中圈出来的是集群正常节点

  4. 启动 yarn

    • 启动 resourcemanager
      # 启动yarn 需要在yarn节点上执行命令
yarn-daemon.sh start resourcemanager
# 查看当前进程
jps

    • 启动 nodemanager

      # 分别在三台主机上执行
yarn-daemon.sh start nodemanager
# 查看 
jps

      查看三台主机中是否启动了 nodemanager

至此，完成单节点启动的方式全部完成。接下来尝试群起的方式

群启

关闭相关进程

  • 如果已经单节点方式启动了Hadoop,可以先停止之前的启动的Namenode与Datanode进程,

  • 如果之前Namenode没有执行格式化，这里需要执行格式化!!!

  • 关闭命令

    # 关闭 resourcemanager
 yarn-daemon.sh stop resourcemanager
# 关闭 nodemanager
 yarn-daemon.sh stop nodemanager
# 关闭 datanode
hadoop-daemon.sh stop datanode
# 关闭 namenode
hadoop-daemon.sh stop namenode

    全部关闭后查看进程，发现只有 jps 一个进程

群启启动

  • 启动 hdfs

    在主机1中执行命令 ：start-dfs.sh

    可以看到在三台主机的 datanode 都已经启动

  • 启动 yarn

    NameNode和ResourceManger不是在同一台机器，不能在NameNode上启动 YARN，应该在ResouceManager所在的机器上启动YARN

    在主机3中执行命令：start-yarn.sh

    可以看到三台主机中的 nodemanager 已经启动

  • 在三台主机中分别查看进程进行验证

Hadoop启动、停止命令汇总

单个服务组件逐一启动、停止

  • HDFS 命令

    hadoop-daemon.sh start / stop namenode / datanode / secondarynamenode

  • Yarn 命令

    yarn-daemon.sh start / stop resourcemanager / nodemanager

各个模块分开启动【群启】、停止

  • HDFS 命令

    start-dfs.sh / stop-dfs.sh

  • Yarn 命令

    start-yarn.sh / stop-yarn.sh

集群测试

体验 HDFS 存储

# 从 hdfs 上创建存储目录
hdfs dfs -mkdir -p /test/input

# 创建测试用的目录，存放测试文件
mkdir -p /usr/mkdir/testDirs
# 创建文件，并添加内容 hello Hadoop hdfs
vim hello.txt
# 上传Linux文件到hdfs中
hdfs dfs -put /usr/mkdir/testDirs/hello.txt /test/input

通过web查看存储的文件

删除本地文件，从hdfs下载文件到本地

# 删除文件
 rm -f hello.txt
# 下载文件 
hdfs dfs -get /test/input/hello.txt

体验 mapreduce 计算

  • 在 hdfs 中创建一个 wcinput 目录文件 hdfs dfs -mkdir /wcinput

  • 在本地目中创建文件 wc.txt，并添加内容

    vim wc.txt 

# 添加内容
hadoop mapreduce yarn
hdfs hadoop mapreduce
mapreduce yarn lagou
lagou
lagou

  • 上传 wc.txt 文件到 hdfs /input目录中 hdfs dfs -put wc.txt /wcinput

  • 切换目录到 Hadoop 官方案例目录

    cd /opt/lagou/servers/hadoop-2.9.2/share/hadoop/mapreduce/

    执行命令 hadoop jar hadoop-mapreduce-examples-2.9.2.jar wordcount /wcinput /wcoutput

查看结果 hdfs dfs -cat /wcoutput/part-r-00000

查看日志

URL http://linux121:19888/jobhistory

如果不能进入，查看一下 ucloud 外网防火墙，添加对应的端口信息

​

地三千
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
hadoop集群的搭建（apache）
12-23
详细的介绍了在hadoop的安装过程，附带每一步的截图，适合于初学者，以及重点介绍了mapreduce的原理以及简单地应用实例。
搭建hadoop集群环境二：hadoop安装及配置
m0_47448095的博客
04-07 1688
hadoop集群环境搭建之hadoop安装及配置
Hadoop集群测试
qq_65274143的博客
11-10 1979
Hadoop集群测试
hadoop没有slaves配置文件
呼卓宇的博客
01-15 1380
hadoop没有slaves配置文件： hadoop3.0以后slaves更名为workers
指定hdfs中namenode的地址_搭建Hadoop 集群环境
weixin_31205717的博客
01-15 2651
文章内容输出来源：拉勾教育Java高薪训练营；这篇文章带领大家搭建一个 Hadoop 集群环境。整体的搭建流程如下配置虚拟机静态IP1、我们通过 hyper-v 创建的虚拟机，设置静态IPcd /etc/sysconfig/network-scripts/vim vim ifcfg-eth0增加配置：#修改为静态IPBOOTPROTO="static"#静态IP地址IPADDR=192.168....
在ApacheHadoop中运行深度学习框架
02-24
Hadoop是用于大型企业数据集的分布式处理的最流行的开源框架，它在本地和云端环境中都有很多重要用途。深度学习对于语音识别，图像分类，AI聊天机器人，机器翻译等领域的企业任务非常有用，仅举几例。为了训练深度...
CDH-5.10.2集群的搭建.pdf
02-15
1、集群规模很庞大时搭建Hadoop集群复杂度越来越高，工作量很大 2、规模很大的集群下升级Hadoop版本很费时费力 3、需要自己保证版本兼容，比如升级Hadoop版本后需要自己保证与Hive、Hbase等的兼容 4、安全性很低 ...
apachehadoop版本共3页.pdf.zip
10-29
YARN允许不同计算框架如Spark、Flink等在同一个集群上运行，提高了资源利用率和集群的灵活性。 然后，Hadoop 3.x带来了更多增强，包括更大的命名节点能力，支持多活NameNodes以提高可用性；HDFS的Erasure Coding...
hadoop slaves文件_hadoop的安装和三种模式的配置
weixin_39967598的博客
11-23 469
Hadoop安装在Linux、Windows、macOS下安装都需要先安装java环境，再安装hadoop，均需要配置环境变量。怎么配置可自行查找资料，这里就不介绍了。参考这里：https://www.toutiao.com/i6769570150422151692/Hadoop的运行模式配置Hadoop的运行模式分为3种：本地运行模式、伪分布运行模式、集群运行模式。独立模式即本地运行模式无需运行...
为什么hadoop没有slaves配置文件？
热门推荐
若闲小阁
08-21 1万+
这个问题我昨天折腾了一晚上，上网也没查到什么，最后发现原来是hadoop3.0以后slaves更名为workers。。。。。，直接在workers填写子节点的主机名或ip地址即可。Duang~的一下，搞了一晚上的全分布式集群就跑起来了。。。。 有需要配置hadoop集群的同学可以参考我的这几篇博文，有我搭建hadoop客户端，伪分布式集群，全分布式集群的全过程，环境是CentOS+hadoop3...
Hadoop集群搭建
yaocong1993的博客
08-07 912
目录 一、 一、安装部署3台联网的服务器 1. 下载VMware Workstation Pro https://www.vmware.com/cn/products/workstation-pro/workstation-pro-evaluation.html 安装VMware Workstation Pro 2. 下载CentOS-7-x86_64-DVD-2009.iso https://mirrors.aliyun.com/centos/7/isos/x86_64/ 安装...
bash: cd: /etc/hadoop/: 没有那个文件或目录
qq_39474048的博客
06-28 1万+
刚开始学hadoop之前linux操作也没怎么看就火急火燎的来看hadoop，我是因为在hadoop-2.7.2下cd /etc/hadoop，所以无法进入，cd /etc/hadoop和cd etc/hadoop是不一样的，cd后加个/ 相当于在根目录下查找，这时候得输入完整路径cd /opt/module/hadoop-2.7.2/etc/hadoop或者在hadoop-2.7.2下 输入cd etc/hadoop。刚开始接触大数据，大家一起加油！ ...
基于hadoop2.6.0搭建5个节点的分布式集群
chuyouyinghe的专栏
01-05 698
1、前言   我们使用hadoop2.6.0版本配置Hadoop集群，同时配置NameNode+HA、ResourceManager+HA，并使用zookeeper来管理Hadoop集群 2、规划   1、主机规划   hadoop1/ 192.168.56.131 hadoop2/ 192.168.56.132 hadoop3/ 19
Hbase原理加强篇
小丑八怪的博客
11-27 223
hbase中的数据怎么实现修改 hbase中的数据存储在hdfs中，而hdfs中的数据是不支持修改的，那hbase中的put、 delete操作是怎么实现的呢？ 如上图，客户端进行删除操作时，会往hdfs中的hfile文件中追加数据，数据中会记录用户 的操作delete，为墓碑标记(标记着数据要删除)，在下次获取该数据时，会发现有两个该 数据，其中一条有墓碑标记，则不会返回客户端数据。 之后会将原来的数据和用户删除后生成的记录合并生成一个新的hfile文件。和hdfs不支持 数据修改的时不相违背的，hba
俩台 centos7 jdk-8 环境下 安装部署步骤 hadoop-2.9.2 分布式集群环境 启动停止 查看
银河系天城知识宝库_技术专家蒋浩宇
10-23 373
目录 目录 1.部署环境 2.网络 3.修改 host 4.实现ssh远程登录 5.安装java 配置环境变量 6.安装hadoop 6.1创建文件夹 6.2下载hadoop2.9.2及解压 6.3修改配置文件 6.3.1修改hadoop-env.sh 6.3.2修改slaves文件 6.3.3修改core-site.xml文件 6.3.4修改hdfs-site....
hadoop slaves文件_Hadoop 集群的安装配置
weixin_39732825的博客
11-23 4078
写在前面如果你想通过这篇博客在本地成功搭建 Hadoop 集群的话，你需要先跟着视频课程 ：3 天入门大数据技术/Linux/Hadoop/Spark​ke.qq.com 在本地搭建集群环境，在这个视频课程中你需要学习的章节是：VMWare WorkStation 安装创建虚拟机安装 Centos 7 操作系统Centos 7 网络配置方式说明Centos 7 网络配置使用客户端登录操作虚拟机克...
流批一体计算引擎-13-[Flink]RuntimeExecutionMode和水印策略Watermark Strategy
qq_20466211的博客
07-04 298
flink中的水印策略
Memcached在大数据量下的挑战：性能瓶颈与优化策略
最新发布
2401_85761762的博客
07-06 466
Memcached是一个基于内存的分布式缓存系统，它通过减少对数据库的访问次数来提高应用程序的性能。它支持简单的数据存储和检索操作，并且是许多高流量网站的核心技术。
利用Java构建高可用的实时数据监控系统
技术研究中心
07-04 460
Java作为一种稳定和强大的编程语言，提供了丰富的工具和库来构建高可用的实时数据监控系统。本文探讨了利用Java构建高可用的实时数据监控系统的关键技术和实现方法。通过合理的技术选型和设计，开发人员可以搭建出稳定、高效的数据监控平台，满足不同应用场景的实时监控需求。：使用流式处理技术（如Apache Kafka、Apache Storm）来处理实时数据流，支持复杂的数据转换和分析。：设计响应式和用户友好的监控界面，支持自定义的图表和数据展示方式。：提供直观、易用的监控界面，帮助用户实时了解数据状态和趋势。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

地三千

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值