MapReduce和Yarn部署+入门

已于 2023-12-19 11:57:01 修改
阅读量562 收藏 9
点赞数 7
分类专栏： 大数据开发 文章标签： mapreduce 大数据
于 2023-12-18 20:40:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_54828577/article/details/135069881
版权

看的黑马视频记的笔记

目录

1.入门知识点

分布式计算：

概念：

两种模式：

MapReduce（分布式计算，分散汇总模式）

      概念 

执行原理

注：

Yarn（分布式资源调度）

概述

 Yarn架构（核心架构+辅助架构）

核心架构（与HDFS非常相似、主从架构）

辅助架构

2.部署

mapred-env.sh

mapred-site.xml

yarn-env.sh

yarn-site.xml

分发到另外两个节点

启动YARN

启动WEB UI页面

 3.提交自带MapReduce示例程序到Yarn运行

wordcount

求圆周率

1.入门知识点

分布式计算：

概念：

        多个计算机合作，共同完成一个计算手段

两种模式：

        1.分散-->汇总（聚合）（MapReduce就为该种模式）

        2.中心调度-->步骤执行（Spark、Flink）

        指挥小弟执行第几阶段、计算完交换数据

MapReduce（分布式计算，分散汇总模式）

      概念 

        MapReduce是“分散->汇总”模式的分布式计算框架，可供开发人员开发相关程序进行分布式数据计算。

        MapReduce提供了Map和Reduce2个编程接口：

        Map（分散）功能接口提供分散功能，有服务器分布式对数据进行处理

        Reduce（汇总）提供聚合功能，将分布式的处理结果汇总统计

执行原理

        假设有四台计算机，文件分成三份，三台各自处理数据统计，一台汇总

注：

        MapReduce尽管可以通过Java、Python等语言进行程序开发，但当下年代基本没人会写它的代码了，因为太过时了。   尽管MapReduce很老了，但现在仍旧活跃在一线，主要是Apache Hive框架非常火，而Hive底层就是使用的MapReduce。

Yarn（分布式资源调度）

概述

        管控整个分布式服务器集群的全部资源，整合进行统一调度，可以提高资源利用率

        MapRudece是基于Yarn运行的，YARN用来调度资源给MapReduce分配和管理运行资源

        所以，MapReduce需要YARN才能执行（普遍情况）

 Yarn架构（核心架构+辅助架构）

核心架构（与HDFS非常相似、主从架构）

与HDFS非常相似

        ResourceManager:整个集群的资源调度者（集群资源的管家），负责协调调度各个程序所需的资源。

        NodeManager:单个服务器的资源调度者（单个设备的管家），负责调度单个服务器上的资源提供给应用程序使用。

        容器类似于一个集装箱，程序运行在容器内，无法突破容器的资源限制  

辅助架构

        代理服务器(ProxyServer)：给Yarn提供一定的安全保障

        JobHistoryServer历史服务器：统一收集到HDFS，由历史服务器托管为WEB UI供用户在浏览器统一查看

管控整个分布式服务器集群的全部资源，整合进行统一调度

2.部署

        在node1以hadoop用户做出以下改进：

mapred-env.sh

export JAVA_HOME=/export/server/jdk
export HADOOP_JOB_HISTORYSERVER_HEAPSIZE=1000
export HADOOP_MAPRED_ROOT_LOGGER=INFO,RFA

mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    <description></description>
  </property>

  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>node1:10020</value>
    <description></description>
  </property>


  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>node1:19888</value>
    <description></description>
  </property>


  <property>
    <name>mapreduce.jobhistory.intermediate-done-dir</name>
    <value>/data/mr-history/tmp</value>
    <description></description>
  </property>


  <property>
    <name>mapreduce.jobhistory.done-dir</name>
    <value>/data/mr-history/done</value>
    <description></description>
  </property>
<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
</property>
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
</property>
<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
</property>
</configuration>

yarn-env.sh

export JAVA_HOME=/export/server/jdk
export HADOOP_HOME=/export/server/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
# export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
# export YARN_LOG_DIR=$HADOOP_HOME/logs/yarn
export HADOOP_LOG_DIR=$HADOOP_HOME/logs

yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
<property>
    <name>yarn.log.server.url</name>
    <value>http://node1:19888/jobhistory/logs</value>
    <description></description>
</property>

  <property>
    <name>yarn.web-proxy.address</name>
    <value>node1:8089</value>
    <description>proxy server hostname and port</description>
  </property>


  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
    <description>Configuration to enable or disable log aggregation</description>
  </property>

  <property>
    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>/tmp/logs</value>
    <description>Configuration to enable or disable log aggregation</description>
  </property>


<!-- Site specific YARN configuration properties -->
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>node1</value>
    <description></description>
  </property>

  <property>
    <name>yarn.resourcemanager.scheduler.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
    <description></description>
  </property>

  <property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>/data/nm-local</value>
    <description>Comma-separated list of paths on the local filesystem where intermediate data is written.</description>
  </property>


  <property>
    <name>yarn.nodemanager.log-dirs</name>
    <value>/data/nm-log</value>
    <description>Comma-separated list of paths on the local filesystem where logs are written.</description>
  </property>


  <property>
    <name>yarn.nodemanager.log.retain-seconds</name>
    <value>10800</value>
    <description>Default time (in seconds) to retain log files on the NodeManager Only applicable if log-aggregation is disabled.</description>
  </property>

  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    <description>Shuffle service that needs to be set for Map Reduce applications.</description>
  </property>
</configuration>

分发到另外两个节点

 node1配置完，为了省事直接分发给node2、node3

scp * node2:`pwd`/
scp * node3:`pwd`/

启动YARN

#一键启动YARN集群（可控制resourcemanager、nodemanager、proxyserver三种进程
）：
$HADOOP_HOME/sbin/start-yarn.sh

#启动历史服务器
$HADOOP_HOME/bin/mapred --daemon start historyserver 

jps

启动WEB UI页面

        在浏览器输入http://node1:8088

 3.提交自带MapReduce示例程序到Yarn运行

   YARN作为资源调度管控框架，其本身提供资源供许多程序运行，常见的有：

  1. MapReduce程序

  2. Spark程序

  3. Flink程序

wordcount

        这些内置的示例MapReduce程序代码，都在：$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.jar文件内。

        可以通过 hadoop jar 命令来运行它，提交MapReduce程序到YARN中。

#在/export操作
vim words.txt

#填入
itheima itcast itheima itcast
hadoop hdfs hadoop hdfs
hadoop mapreduce hadoop yarn
itheima hadoop itcast hadoop
itheima itcast hadoop yarn mapreduce


hadoop fs -mkdir -p /input/wordcount
hadoop fs -mkdir /output
hadoop fs -put words.txt /input/wordcount/

#提交示例MapReduce程序WordCount到YARN中执行

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.jar wordcount hdfs://node1:8020/input/wordcount/ hdfs://node1:8020/output/wc1

#参数
参数wordcount，表示运行jar包中的单词计数程序（Java Class）
参数1是数据输入路径（hdfs://node1:8020/input/wordcount/)
参数2是结果输出路径(hdfs://node1:8020/output/wc1)， 需要确保输出的文件夹不存在

提交程序后，可以在YARN的WEB UI页面看到运行中的程序（http://node1:8088/cluster/apps)

        查看结果：

wc1中的
_SUCCESS 文件是标记文件，表示运行成功，本身是空文件
part-r-00000 ，是结果文件，结果存储在以 part 开头的文件中

查看到详细的运行日志信息

求圆周率

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.jar pi 3 1000


#参数pi表示要运行的Java类，这里表示运行jar包中的求pi程序
#参数3，表示设置几个map任务
#参数1000，表示模拟求PI的样本数（越大求的PI越准确，但是速度越慢）

Y蓝田大海
关注
  • 7
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MapReduce & YARN 的部署
weixin_49107940的博客
09-17 1315
常用的进程启动命令如下：一键启动YARN集群： $HADOOP_HOME/sbin/start-yarn.sh会基于yarn-site.xml中配置的yarn.resourcemanager.hostname来决定在哪台机器上启动resourcemanager会基于workers文件配置的主机启动NodeManager一键停止YARN集群： $HADOOP_HOME/sbin/stop-yarn.sh在当前机器，单独启动或停止进程start和stop决定启动和停止。
MapReduce配置和Yarn的集群部署
ichterry的专栏
03-25 1141
MapReduce配置和Yarn的集群部署以及MapReduce程序运行示例
【Hadoop技术框架-MapReduce和Yarn的详细描述和部署】
最新发布
书生的技术分享
04-07 1022
MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。MapReduce是基于YARN运行的，即没有YARN”无法”运行MapReduce程序。
Hadoop入门学习笔记——四、MapReduce的框架配置和YARN的部署
faith306
12-23 2302
hdfs://8020/output/wc 表示参数2，在本程序中是统计结果输出的文件夹，这里写明了hdfs协议头，指明了是HDFS文件系统的路径（经测试，不写也可以，默认读取HDFS文件系统路径），hdfs://node1:8020/input/ 表示参数1，在本程序中是待统计的文件夹，这里写了hdfs协议头，指明了是HDFS文件系统的路径（经测试，不写也可以，默认读取HDFS文件系统路径）；mapreduce.map.env 表示Map HOME的路径，这里设置为HADOOP_HOME相同路径；
Hadoop学习记录5--YARN学习1
weixin_45772744的博客
07-02 798
YARN是一个全局的资源管理器和作业调度平台。YARN的基本思想是将资源管理和作业调度/监视功能划分为单独的守护进程。其思想是拥有一个全局ResourceManager (RM)，以及每个应用程序拥有一个ApplicationMaster (AM)。应用程序可以是单个作业，也可以是一组作业。 一个ResourceManager和多个NodeManager构成了YARN资源管理框架。他们是YARN启动后长期运行的守护进程，来提供核心服务。YARN属于Hadoop的核心组件，不需要单独安装，只需要修改一些配置文
yarn-starter:编写分布式容错YARN应用程序的入门示例
05-18
该项目的目标是减少编写容错YARN应用程序的入门门槛，主要是利用Twill（在撰写本文时）。 在， 和阅读有关斜纹的更多。 简单的斜纹应用示例 是使用Twill部署在YARN上的一个非常简单的应用程序。 该应用程序基本上会...
big-data-wordcount:使用 Hadoop Yarn 的大数据分析大数据科学的简化入门项目。 与 Spring Boot 和 Spring for Hadoop 集成，提供统一的配置模型和易于使用的 API 的访问，以便使用内置本地部署的 HDFS、MapReduce、Pig 和 Hive。 是的，您没听错——不需要运行 Hadoop 集群来测试您的代码！ 该项目将根据您的需要在本地启动 Hadoop，然后在运行您的 MapReduce 代码后将其关闭
06-21
与 Spring Boot 和 Spring for Hadoop 集成，提供统一的配置模型和易于使用的 API 的访问，以便使用内置本地部署的 HDFS、MapReduce、Pig 和 Hive。 是的，您没听错——不需要运行 Hadoop 集群来测试您的代码！ 该...
【Spark篇01】Spark基础入门和环境安装 1
08-04
它可以与Hadoop生态系统无缝集成，使用YARN或Mesos作为资源管理和调度器，处理Hadoop支持的所有数据源，如HDFS和HBase。这样，用户无需迁移数据即可利用Spark的能力。 Spark集群由Master和Worker组成，Master作为...
Spark入门(Python).pdf
03-04
为了克服这些挑战，YARN（Yet Another Resource Negotiator）作为Hadoop的资源管理框架应运而生，它允许应用程序不必直接使用MapReduce即可利用集群资源。Spark就是在这样的背景下诞生的，它扩展了MapReduce模型，...
hadoop入门[归纳].pdf
10-11
Hadoop生态中的关键术语包括：NameNode（主节点，管理文件系统命名空间和数据块映射）、DataNode（从节点，存储数据块）、MapReduce（并行计算模型）、YARN（Yet Another Resource Negotiator，资源调度器）等。...
hadoop安装之保姆级教程（二）之YARN的配置
qq_52868045的博客
10-22 3297
我们在YARN上运⾏MapReduce的程序的时候，可以在控制台上看到任务的⽇志输出，以获取到任务的运⾏状态。同 时，YARN也会将⽇志写在本地的⽂件夹中，我们可以到⽂件夹中进⾏⽇志的查 看。但是这个⽂件夹中的内容，会随着YARN的重启⽽被删除掉。那么此时我们将如何查看⽇志？此时就需要开启Hadoop的历史⽇志服务了，Hadoop会将MapReduce的任务⽇志在HDFS也保留⼀份，我们可以通过 Hadoop的历史任务服务来查看到之前的历史⽇志！
Hadoop学习之路，YARN的配置与安装（2）
qq_42559628的博客
03-19 2180
Hadoop中YARN的配置 etc/hadoop/mapred-site.xml文件编辑 <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> etc/hadoop/yarn-site.xm
Hadoop 2
MINAMI373的博客
03-19 2367
yarn配置 1.在 app/hadoop/etc/hadoop/mapred-site.xml 编辑加入 <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> 2.在 app/hadoop/etc/hadoop/yarn-site.xml编辑加入 <property&gt
hadoop2.x配置 - MapReduce相关参数
Mrknowledge
06-11 1348
REFER: ---------------------------------------------------------------------------------------------
黑马大数据学习笔记3-MapReduce配置和YARN部署以及基本命令
weixin_45735391的博客
07-30 3601
MapReduce配置和YARN部署以及基本命令
大数据-Hadoop-YARN：资源调度器【YARN负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序】
u013250861的博客
04-01 371
需求1：default队列占总内存的40%，最大资源容量占总资源60%，hive队列占总内存的60%，最大资源容量占总资源80%。1）需求：从1G数据中，统计每个单词出现次数。服务器3台，每台配置4G内存，4核CPU，4线程。是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的。）因为担心员工不小心，写递归死循环代码，把所有资源全部耗尽。每个框架的任务放入指定的队列（企业用的不是特别多）。）：单队列，根据提交作业的先后顺序，先来先服务。快照，否则后续的案例，还需要重新准备集群。
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI
weixin_46838716的博客
06-02 579
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI
YARN分布式资源调度框架
xinxinyydss的博客
12-06 236
（9）在104上启动historyserver：mr-jobhistory-daemon.sh start historyserver，通过jps检查。在104上停止historyserver：mr-jobhistory-daemon.sh stop historyserver。停止historyserver：mr-jobhistory-daemon.sh stop historyserver。停止resourcemanager：yarn-daemon.sh stop resourcemanager。
hdfs mapreduce和yarn的关系
03-16
HDFS（Hadoop分布式文件系统）是Hadoop的核心，它负责存储和管理大数据。MapReduce是Hadoop的计算框架，它利用分布式计算的方式处理大数据。YARN（Yet Another Resource Negotiator）是Hadoop的资源管理系统，它负责管理Hadoop集群中的计算和存储资源。 因此，HDFS和MapReduce是Hadoop的基础组件，而YARN是Hadoop的资源管理组件。HDFS存储大数据，MapReduce处理大数据，YARN负责管理Hadoop集群中的计算和存储资源，这三者组合在一起构成了Hadoop的大数据处理平台。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值