第三章_分布式计算和资源调度（黑马版）

最新推荐文章于 2024-08-09 15:39:59 发布
最新推荐文章于 2024-08-09 15:39:59 发布
阅读量899 收藏 28
点赞数 12
分类专栏： Hadoop学习入门 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_62238141/article/details/139320957
版权

1.分布式计算概述

  • 学习目标

1.了解什么是计算

2.了解什么是分布式计算

什么是计算、分布式计算？

  • 计算：对数据进行处理，使用统计分析等手段得到需要的结果

  • 分布式计算：多台服务器协同工作，共同完成一个计算任务

分布式计算常见的2种工作模式

  • 分散->汇总 （MapReduce就是这种模式）

  • 中心调度->步骤执行 （大数据体系的Spark、Flink等是这种模式）

2.MapReduce概述

  • 学习目标

1.掌握MapReduce和Hadoop的关系

2.了解MapReduce的作用

什么是MapReduce

  • MapReduce是Hadoop中的分布式计算组件

  • MapReduce可以以分散->汇总（聚合）模式执行分布式计算任务

MapReduce的主要编程接口

  • map接口，主要提供“分散”功能，由服务器分布式处理数据

  • reduce接口，主要提供“汇总”功能，进行数据汇总统计得到结果

  • MapReduce可供Java、Python等语言开发计算程序

    注：MapReduce尽管可以通过Java、Python等语言进行程序开发，但当下年代基本没人会写它的代码了，因为太过时了。 尽管MapReduce很老了，但现在仍旧活跃在一线，主要是Apache Hive框架非常火，而Hive底层就是使用的MapReduce。 所以对于MapReduce的代码开发，课程会简单扩展一下，但不会深入讲解，对MapReduce的底层原理会放在Hive之后，基于Hive做深入分析。

MapReduce的运行机制

  • 将要执行的需求，分解为多个Map Task和Reduce Task

  • 将Map Task 和 Reduce Task分配到对应的服务器去执行

3.YARN概述

  • 学习目标

1.了解MapReduce和YARN的关系

2.了解为什么需要资源调度

3.了解YARN的作用

YARN是做什么的？

  • YARN是Hadoop的一个组件

  • 用以做集群的资源（内存、CPU等）调度

为什么需要资源调度

  • 将资源统一管控进行分配可以提高资源利用率

程序如何在YARN内运行

  • 程序向YARN申请所需资源

  • YARN为程序分配所需资源供程序使用

MapReduce和YARN的关系

  • YARN用来调度资源给MapReduce分配和管理运行资源

  • 所以，MapReduce需要YARN才能执行（普遍情况）

4.YARN架构

  • 学习目标

1.掌握YARN的运行角色和角色之间的关系

2.理解使用容器做资源分配和隔离

核心架构

  • 主（Master）：ResourceManager

  • 从（Slave）：NodeManager

image-20240529232139042

两个角色各自的功能是什么？

  • ResourceManager： 管理、统筹并分配整个集群的资源

  • NodeManager：管理、分配单个服务器的资源，即创建管理容器，由容器提供资源供程序使用

什么是YARN的容器？

  • 容器（Container）是YARN的NodeManager在所属服务器上分配资源的手段

  • 创建一个资源容器，即由NodeManager占用这部分资源

  • 然后应用程序运行在NodeManager创建的这个容器内

  • 应用程序无法突破容器的资源限制

ps：容器是虚拟化的相关机制

辅助架构

  • 代理服务器(ProxyServer)：Web Application Proxy Web应用程序代理

代理服务器，即Web应用代理是 YARN 的一部分。默认情况下，它将作为资源管理器(RM)的一部分运行，但是可以配置为在独立模式下运行。使用代理的原因是为了减少通过 YARN 进行基于网络的攻击的可能性。这是因为， YARN在运行时会提供一个WEB UI站点（同HDFS的WEB UI站点一样）可供用户在浏览器内查看YARN的运行信息，对外提供WEB 站点会有安全性问题， 而代理服务器的功能就是最大限度保障对WEB UI的访问是安全的。

代理服务器默认集成在了ResourceManager中，也可以将其分离出来单独启动。

  • 历史服务器(JobHistoryServer)： 应用程序历史信息记录服务

运行日志，产生在容器中，太零散了难以查看，统一收集到HDFS，由历史服务器托管为WEB UI供用户在浏览器统一查看。

5.MapReduce & YARN 的部署

  • 学习目标

1.完成MapReduce框架的运行配置

2.完成YARN集群的部署

部署说明

  • Hadoop HDFS分布式文件系统，我们会启动：

    • NameNode进程作为管理节点

    • DataNode进程作为工作节点

    • SecondaryNamenode作为辅助

  • 同理，Hadoop YARN分布式资源调度，会启动：

    • ResourceManager进程作为管理节点

    • NodeManager进程作为工作节点

    • ProxyServer、JobHistoryServer这两个辅助节点

  • 那么，MapReduce呢？

    • MapReduce运行在YARN容器内，无需启动独立进程

所以关于MapReduce和YARN的部署，其实就是2件事情：

  • MapReduce： 修改相关配置文件，但是没有进程可以启动

  • YARN： 修改相关配置文件， 并启动ResourceManager、NodeManager进程以及辅助进程（代理服务器、历史服务器）

image-20240529233059546

集群规划

image-20240529233215401

MapReduce配置文件

  • 在 $HADOOP_HOME/etc/hadoop 文件夹内，修改：

    • mapred-env.sh文件，添加如下环境变量

    image-20240529233314677

     export JAVA_HOME=/export/server/jdk
 export HADOOP_JOB_HISTORYSERVER_HEAPSIZE=1000
 export HADOOP_MAPRED_ROOT_LOGGER=INFO,RFA

    • mapred-site.xml文件，添加如下配置信息：

       <property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
     <description></description>
   </property>
   <property>
     <name>mapreduce.jobhistory.address</name>
     <value>node1:10020</value>
     <description></description>
   </property>
   <property>
     <name>mapreduce.jobhistory.webapp.address</name>
     <value>node1:19888</value>
     <description></description>
   </property>
   <property>
     <name>mapreduce.jobhistory.intermediate-done-dir</name>
     <value>/data/mr-history/tmp</value>
     <description></description>
   </property>
   <property>
     <name>mapreduce.jobhistory.done-dir</name>
     <value>/data/mr-history/done</value>
     <description></description>
   </property>
 <property>
   <name>yarn.app.mapreduce.am.env</name>
   <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
 </property>
 <property>
   <name>mapreduce.map.env</name>
   <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
 </property>
 <property>
   <name>mapreduce.reduce.env</name>
   <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
 </property>

YARN配置文件

  • 在 $HADOOP_HOME/etc/hadoop 文件夹内，修改：

    • yarn-env.sh文件，添加如下4行环境变量内容：

     export JAVA_HOME=/export/server/jdk
 export HADOOP_HOME=/export/server/hadoop
 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
 export HADOOP_LOG_DIR=$HADOOP_HOME/logs

    • yarn-site.xml文件

     <!-- Site specific YARN configuration properties -->
 <property>
     <name>yarn.log.server.url</name>
     <value>http://node1:19888/jobhistory/logs</value>
     <description></description>
 </property>
 ​
   <property>
     <name>yarn.web-proxy.address</name>
     <value>node1:8089</value>
     <description>proxy server hostname and port</description>
   </property>
 ​
 ​
   <property>
     <name>yarn.log-aggregation-enable</name>
     <value>true</value>
     <description>Configuration to enable or disable log aggregation</description>
   </property>
 ​
   <property>
     <name>yarn.nodemanager.remote-app-log-dir</name>
     <value>/tmp/logs</value>
     <description>Configuration to enable or disable log aggregation</description>
   </property>
 ​
 ​
 <!-- Site specific YARN configuration properties -->
   <property>
     <name>yarn.resourcemanager.hostname</name>
     <value>node1</value>
     <description></description>
   </property>
 ​
   <property>
     <name>yarn.resourcemanager.scheduler.class</name>
     <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
     <description></description>
   </property>
 ​
   <property>
     <name>yarn.nodemanager.local-dirs</name>
     <value>/data/nm-local</value>
     <description>Comma-separated list of paths on the local filesystem where intermediate data is written.</description>
   </property>
 ​
 ​
   <property>
     <name>yarn.nodemanager.log-dirs</name>
     <value>/data/nm-log</value>
     <description>Comma-separated list of paths on the local filesystem where logs are written.</description>
   </property>
 ​
 ​
   <property>
     <name>yarn.nodemanager.log.retain-seconds</name>
     <value>10800</value>
     <description>Default time (in seconds) to retain log files on the NodeManager Only applicable if log-aggregation is disabled.</description>
   </property>
 ​
 ​
 ​
   <property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
     <description>Shuffle service that needs to be set for Map Reduce applications.</description>
   </property>

分发配置文件

MapReduce和YARN的配置文件修改好后，需要分发到其它的服务器节点中。

image-20240529235853803

在我们当前配置环境的目录下也可以直接使用以下命令（偷懒）

 scp * node2:`pwd`/
 scp * node3:`pwd`/

分发完成配置文件，就可以启动YARN的相关进程。

集群启动命令

ps:要先启动HDFS集群

常用的进程启动命令如下：

  • 一键启动YARN集群：$HADOOP_HOME/sbin/start-yarn.sh

    • 会基于yarn-site.xml中配置的yarn.resourcemanager.hostname来决定在哪台机器上启动resourcemanager

    • 会基于workers文件配置的主机启动NodeManager

  • 一键停止YARN集群： $HADOOP_HOME/sbin/stop-yarn.sh

  • 在当前机器，单独启动或停止进程

$HADOOP_HOME/bin/yarn --daemon start|stop resourcemanager|nodemanager|proxyserver

start和stop决定启动和停止

可控制resourcemanager、nodemanager、proxyserver三种进程

  • 历史服务器启动和停止

$HADOOP_HOME/bin/mapred --daemon start|stop historyserver

启动YARN集群

  • 在node1服务器，以hadoop用户执行：start-yarn.sh

image-20240530000732029

  • 其次执行:mapred --daemon start historyserver启动HistoryServer

image-20240530001030459

查看YARN的WEB UI页面

  • 打开 http://node1:8088 即可看到YARN集群的监控页面（ResourceManager的WEB UI）

image-20240530001154679

  • 在最后，可以给虚拟机打上快照，保存安装状态

6.MapReduce & YARN 初体验

  • 学习目标

1.掌握集群进程的启停命令

2.掌握提交自带MapReduce示例程序到YARN运行

集群启停命令

一键启动脚本

启动：

$HADOOP_HOME/sbin/start-yarn.sh

  • 从yarn-site.xml中读取配置，确定ResourceManager所在机器，并启动它

  • 读取workers文件，确定机器，启动全部的NodeManager

  • 在当前机器启动ProxyServer（代理服务器）

关闭：

$HADOOP_HOME/sbin/stop-yarn.sh

单进程启停

除了一键启停外，也可以单独控制进程的启停。

  • $HADOOP_HOME/bin/yarn，此程序也可以用以单独控制所在机器的进程的启停

用法：yarn --daemon (start|stop) (resourcemanager|nodemanager|proxyserver)

  • $HADOOP_HOME/bin/mapred，此程序也可以用以单独控制所在机器的历史服务器的启停

用法：mapred --daemon (start|stop) historyserver

提交MapReduce任务到YARN执行

在部署并成功启动YARN集群后，我们就可以在YARN上运行各类应用程序了。

  • YARN作为资源调度管控框架，其本身提供资源供许多程序运行，常见的有：

    • MapReduce程序

    • Spark程序

    • Flink程序

Spark和Flink是大数据后续的学习内容，目前先来体验一下在YARN上执行MapReduce程序的过程。

Hadoop官方内置了一些预置的MapReduce程序代码，我们无需编程，只需要通过命令即可使用。

  • 常用的有2个MapReduce内置程序：

    1. wordcount：单词计数程序。

      统计指定文件内各个单词出现的次数

2. pi：求圆周率

通过蒙特卡罗算法（统计模拟法）求圆周率

  • 这些内置的示例MapReduce程序代码，都在：

$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar 这个文件内。

  • 可以通过 hadoop jar 命令来运行它，提交MapReduce程序到YARN中。

语法：hadoop jar 程序文件 java类名 [程序参数] ... [程序参数]

提交wordcount示例程序

单词计数示例程序的功能很简单：

  1. 给定数据输入的路径（HDFS）、给定结果输出的路径（HDFS）

  2. 将输入路径内的数据中的单词进行计数，将结果写到输出路径

保存以下内容到Linux中为words.txt文件，并上传到HDFS

 itheima itcast itheima itcast
 hadoop hdfs hadoop hdfs
 hadoop mapreduce hadoop yarn
 itheima hadoop itcast hadoop
 itheima itcast hadoop yarn mapreduce  

执行命令：

 hadoop fs -mkdir -p /input/wordcount
 hadoop fs -mkdir /output
 hadoop fs -put words.txt /input/wordcount/

  • 执行如下命令，提交示例MapReduce程序WordCount到YARN中执行

 hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.4.0.jar wordcount hdfs://node1:8020/input/wordcount/ hdfs://node1:8020/output/wc1

image-20240530004101492

注意：

  • 参数wordcount，表示运行jar包中的单词计数程序（Java Class）

  • 参数1是数据输入路径（hdfs://node1:8020/input/wordcount/)

  • 参数2是结果输出路径(hdfs://node1:8020/output/wc1)， 需要确保输出的文件夹不存在

查看运行日志

提交程序后，可以在YARN的WEB UI页面看到运行中的程序（http://node1:8088/cluster/apps)

image-20240530004214676

image-20240530004523607

执行完成后，可以借助历史服务器查看到程序的历史运行信息

ps：如果没有启动历史服务器和代理服务器，此操作无法完成（页面信息由历史服务器提供，鼠标点击跳转到新网页功能由代理服务器提供）

image-20240530004916634

image-20240530004923686

image-20240530004935233

image-20240530005012315

提交求圆周率示例程序

可以执行如下命令，使用蒙特卡罗算法模拟计算求PI（圆周率）

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.4.0.jar pi 3 1000

  • 参数pi表示要运行的Java类，这里表示运行jar包中的求pi程序

  • 参数3，表示设置几个map任务

  • 参数1000，表示模拟求PI的样本数（越大求的PI越准确，但是速度越慢）

image-20240530005258257

如图，运行完成，求得PI值（样本1000太小，不够精准，仅演示）

总结

  1. Hadoop自带的MapReduce示例程序的代码jar包是

$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar

  1. 使用什么命令提交MapReduce程序到YARN中执行？

hadoop jar 命令

语法：hadoop jar 程序文件 java类名 [程序参数] ... [程序参数]

  1. 如何查看程序运行状态

在YARN WEB页面中查看

拓展：蒙特卡罗算法求PI的基础原理

image-20240530123743396

示例代码

image-20240530123821594

雨天的恶意
关注
  • 12
    点赞
  • 踩
  • 28
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【分布式系统遨游】分布式资源调度
NoSay
05-03 1595
今天我们来讨论分布式资源调度。 为什么需要资源调度 从计算机演化说起 我们知道，计算机的出现很大程度上是为了分担人类的工作的。所以，整个计算机体系架构的演化的过程，都离不开对任务与资源这两个因素的考虑。如何利用最少的资源，运行最多的任务，且耗时最短，这是一直以来伴随我们以及科学家的难题。对于单机系统来说，从最早的单道程序设计技术、到多道程序设计技术、到现在的多核并行架构，解决方案正在逐步进化，也就...
第1章分布式计算框架与资源调度1
08-08
分布式资源调度框架是指将计算资源分配到多个计算节点上，并对计算资源进行调度和管理的框架。常见的分布式资源调度框架有YARN、Mesos等。 211.2.1 YARN的概念 YARN（Yet Another Resource Negotiator）是Hadoop的...
分布式资源管理和调度架构
lonelymanontheway的博客
06-12 1030
概述、静态资源分配和动态资源分配、动态资源调度的优势、资源调度（资源、资源调度器和计算任务）；架构：中央式调度器、两级调度器、共享状态调度器、对比
分布式资源调度系统 YARN
u012957549的博客
12-17 5220
文章地址：http://www.haha174.top/article/details/259707 1.YARN产生背景 1. hadoop 1.x 时： MapReduce:Master/Slave 架构 1个JobTracker带多个TaskTracker JobTracker: 负责 资源调度和作业调度 TaskTracker: 定期向jt 汇报本节点的健康状况、资源...
常用分布式计算任务调度算法
热门推荐
神技圈子的博客
05-10 2万+
随着大规模并行分布处理系统，特别是网络工作站集群的广泛应用。如何采取有效的调度策略来平衡各节点的负载，从而提高整个系统资源的利用率，已成为人们的研究热点。 集群具有可扩展性、 高可用性、高性能、高性价比等优点，作为存储区域网的存储设备具有天生的优势。随着PC机的发展，硬盘的价格越来越低，其存储容量越来越大，每台PC机也可配置多块硬盘，且可扩充能力极高，作为集群中的节点管理也相当方便，并具有一定的...
分布式计算任务调度算法总结
神技圈子的博客
02-20 1万+
一、影响分布式系统性能的因素 主要有这些因素影响着分布式系统的性能：网络延迟、数据通信效能、计算节点处理能力、任务的分割、无法预算处理时间、任务的颠簸等等。 我们在寻求分布式计算调度算法时，就是有针对性的以解决这些问题为目的，从各个角度，不同侧面，利用一种或者集中方法结合起来的形式，从而达到最优解，使得系统效率相对最高。 二、几种基本的调度算法 获得网络负载均衡有几个基本的方法。这些方法可以结合使...
02-黑马程序员大数据开发：分布式计算和分布式资源调度
S1406793的博客
01-17 1060
MapReduce和YARN概述
黑马程序员《第三章分布式计算和资源调度》Hadoop中YARN的集群部署
Exp_X的博客
10-07 124
【代码】黑马程序员《第三章分布式计算和资源调度》Hadoop中YARN的集群部署。
Python黑马头条推荐系统第一天 架构介绍和离线计算更新Item画像
fegus的博客
04-26 2230
Python黑马头条推荐系统项目课程定位、目标 定位 课程是机器学习(包含推荐算法)算法原理在推荐系统的实践 深入推荐系统的业务流场景、工具使用 作为人工智能的数据挖掘(推荐系统)方向应用项目 目标 熟练掌握推荐系统的实时推荐业务流 熟练掌握推荐系统lambda分布式计算工具、存储工具使用 熟练掌握黑马推荐离线计算、在线实时计算解决方案 1.1 黑马头条推荐业务架构介绍 学习目标 目标 无 应用 无 1.1.1业务 简介 黑马头条推荐系统建立在头条APP海量用户与海
大数据技术原理与应用-林子雨版-第二章课后习题
m0_57467661的博客
03-17 2187
在配置 Hadoop 时，Java 的路径 JAVA_HOME 是在 Hadoop 的环境变量配置文件中进行设置的。默认情况下，Hadoop 会在其安装目录下的 etc/hadoop 目录中包含一个名为 hadoop-env.sh 的文件，该文件定义了 Hadoop 的环境变量配置信息，其中包括 JAVA_HOME 环境变量的设置。Hadoop ZooKeeper：ZooKeeper 是 Hadoop 的分布式协调服务，用于管理和协调 Hadoop 集群中的各个节点，保证系统的稳定性和可靠性。
含分布式电源微电网潮流_微电网matlab_潮流计算_分布式电源_
10-03
微电网是一种先进的电力系统结构，它集合了传统的集中式电源和分布式电源，如太阳能光伏、风能、小型发电机等，形成一个独立或并网运行的电力系统。MATLAB作为一款强大的数学计算和仿真软件，被广泛应用于电力系统的...
JAVA-RMI.rar_rmi _分布式计算
09-14
由于Java具有跨平台、代码可移植性、安全高效等广泛而强大的功能，因而在开发网络分布式应用的时候，可以用它自身的机制实现分布式计算，一种基于Java的远程方法调用(RMI)为我们开发企业分布式应用提供了行之有效的...
MySQL_Simp.rar_分布式计算
09-23
MySQL_Simp.rar_分布式计算是关于如何在分布式计算环境中利用MySQL进行高效数据处理的主题。MySQL是一种广泛应用的关系型数据库管理系统（RDBMS），以其开源、免费和高性能的特点深受开发者喜爱。在分布式计算场景下...
毕业设计分布式MIMO.rar_MIMO单小区_distributed mimo_分布式MIMO模型_分布式计算_单小区建模
07-15
本资源包"毕业设计分布式MIMO.rar"主要涵盖了单小区环境下的分布式MIMO模型构建及能量效率计算。 分布式MIMO，也称为合作MIMO，是一种无线通信策略，它利用多个分散的发射和接收天线协同工作，以提高数据传输速率、...
Hadoop的streamingAPI与MapReduce[Python]
YENTERTAINR的博客
08-07 364
Hadoop的streamingAPI与MapReduce[Python]
基于Hadoop的共享单车分布式存储与计算
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
08-09 760
共享单车的普及带来了便利，但也引发了数据管理的挑战。随着市场竞争加剧，大量资金涌入，导致共享单车数量激增，品牌众多。这种情况下，有效管理和分析海量数据成为一个关键问题。本项目利用Hadoop技术对共享单车数据进行分布式存储和计算。我们收集了10万条开源数据，包含用户类型、活跃程度、地理位置、消费水平、年龄、使用的应用程序、骑行距离和使用频率等信息。经过数据清洗和结构化处理后，我们采用脚本集成方法启动集群，建立Hive表格，并使用Flume组件将数据上传至Hive数据仓库，实现分布式存储和分桶优化。
人力资源+大数据+薪酬报告+涨薪调薪，在学习、工作生活中，越来越多的事务都会使用到报告，通常情况下，报告的内容含量大、篇幅较长
最新发布
08-12
人力资源+大数据+薪酬报告+涨薪调薪，在学习、工作生活中，越来越多的事务都会使用到报告，通常情况下，报告的内容含量大、篇幅较长。那么什么样的薪酬报告才是有效的呢？以下是小编精心整理的调薪申请报告，欢迎大家分享。相信老板看到这样的报告，一定会考虑涨薪的哦。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值