hadoop YARN部署并运行MapReduce测试程序

最新推荐文章于 2022-04-05 14:12:01 发布
最新推荐文章于 2022-04-05 14:12:01 发布
阅读量300 收藏
点赞数
分类专栏： yarn 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sz_lili/article/details/94961514
版权
本文详细介绍了如何部署Hadoop YARN，并在YARN上运行MapReduce测试程序。首先，需要配置mapred-site.xml和yarn-site.xml文件，接着启动YARN服务，然后进行MapReduce程序的测试，最后关闭YARN。MapReduce作为Hadoop的计算引擎，虽然在企业中逐渐被更简单的解决方案如Hive SQL取代，但仍不失为理解分布式计算的重要工具。
摘要由CSDN通过智能技术生成

前记：
yarn:资源和作业的调度,需部署
MapReduce:hadoop计算引擎， 是java开发的jar包，代码复杂，企业不用，一般用hive sql
不需要部署，运行在Yarn上
yarn部署参数配置：
1.修改mapred-site.xml文件

[hadoop@Hadoop001 hadoop]$ cp mapred-site.xml.template mapred-site.xml
[hadoop@Hadoop001 hadoop]$ vi mapred-site.xml
<configuration>
    <property>
        <name>mapreduce.framework.name</name>   <!--该参数是说明你的mr程序是部署在yarn上，即使用yarn调度-->
        <value>yarn</value>
    </property>
</configuration>

2.修改yarn-site.xml文件

[hadoop@Hadoop001 hadoop]$ vi yarn-site.xml 
<configuration>
   <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
   </property>
</configuration>

3.启动yarn

[hadoop@hadoop001 hadoop]$ start-yarn.sh 
starting yarn dae
最低0.47元/天 解锁文章
sz_lili
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MapReduce学习——运行MapReduce程序（测试）
weixin_43501742的博客
04-27 286
** 第一步： ** 在pom.xm中添加MapReduce程序的Maven依赖 <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> </properties> <dependencies> <depend...
23、hadoop集群中yarn运行mapreduce的内存、CPU分配调度计算与优化
05-29
在Hadoop集群中，YARN（Yet Another Resource Negotiator）作为资源管理器，负责调度MapReduce任务的内存和CPU资源。YARN支持基于内存和CPU的两种资源调度策略，以确保集群资源的有效利用。在非默认配置下，合理地...
yarn运行mapreduce的工作机制
wu_cai的专栏
09-09 1003
yarn的基本概念 yarn并不清楚用户提交的程序的运行机制 yarn只提供运算资源的调度（用户程序向yarn申请资源，yarn就负责分配资源） yarn中的主管角色叫ResourceManager yarn中具体提供运算资源的角色叫NodeManager 这样一来，yarn其实就与运行的用户程序完全解耦，就意味着yarn上可以运行各种类型的分布式运算程序（mapreduce只是其中的一种），比如m
YARN上运行MapReduce程序
weixin_40434214的博客
02-25 386
YARN上运行MapReduce程序 主机名：hadoop101 执行步骤 （1）配置集群 （a）配置yarn-env.sh 配置一下JAVA_HOME export JAVA_HOME=/usr/java/default（java的 安装路径） （b）配置yarn-site.xml yarn.nodemanager.aux-services mapreduce_shuffle ya...
hadoop-0.23.9安装以及第一个mapreduce测试程序
ZoMoe's eye
10-10 4115
hadoop是一个能够对大量数据进行分布式处理的软件框架。它实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。
MapReduce on Yarn（包含MapReduce执行详细流程）
CLAY157的博客
04-05 2878
1. MapReduce 1.1 MapReduce任务在Yarn中执行流程 MapReduce作为一种分布式计算框架，它在Yarn中执行的流程为： （1）客户端提交job； 细节： ① org.apache.hadoop.mapreduce.Job类配置job； ② mapred-site.xml中mapreduce.framework.name配置为yarn时，yarn协议会激活； ③ job.waitForCompletion(true)：将job提交到Yarn集群，并等待执行完成； ④ 客户端代
3_Hadoop平台（YARN+MapReduce）1
08-03
【Hadoop平台与YARN+MapReduce】 Hadoop是一个开源的大数据处理框架，它由Apache基金会开发，主要用于处理和存储海量数据。Hadoop的核心组成部分包括HDFS（Hadoop Distributed File System）和MapReduce，其中...
hadoop学习本地win测试mapreduce程序，所要用到的环境软件.rar
06-27
通过这些资料，初学者可以更好地理解Hadoop的工作原理，掌握如何在Windows环境下部署和测试MapReduce程序。 总结，这个压缩包提供的环境软件是针对Windows用户在本地进行Hadoop MapReduce学习和测试的。它包含必要...
hadoop处理框架，hdfs，mapreduce，yarn
最新发布
08-29
MapReduce 的设计使得应用程序能够在成干上万独立计算的计算机上运行并操作 PB 级的数据。 YARN（Yet Another Resource Negotiator）是 Hadoop 的一个资源管理和调度系统，负责管理和分配计算资源。YARN 提供了一个...
Hadoop笔记——Yarn的部署与MapReduce程序测试
Bessenn的博客
06-05 506
Yarn(Apache Hadoop YARN)是Hadoop的一部分，负责Hadoop集群的资源调度。事实上，Yarn本身也是一个集群，它主要包括4个部分： ResourceManager（RM）：RM是一个全局的资源管理器，负责整个系统的资源管理和分配。 ApplicationMaster（AM）：用户提交的每个应用程序均包含一个AM，负责向RM申请资源（Container），并分配给对应的应用程序。 NodeManager（NM）：NM是集群每个主机节点上的资源和任务管理器。 * Container
Yarn运行MapReduce的具体过程
feizuiku0116的博客
01-06 592
Yarn运行MapReduce的具体过程 客户端client向YARN主节点ResourceManager提交作业job 主节点ResourceManager在某个DataNode从节点上启动一个Container运行applicationMaster(运行应用的管理者) applicationMaster向ResourceManager请求资源，为了运行MapReduce中所有的任务; ResourceManager将分配nodeManager上的资源，并告知applicationMaste申
hadoop运行MapReduce
y2337229529的博客
04-27 563
一、启动Hadoop节点 sudo sbin/hadoop-daemon.sh start namenode sudo sbin/hadoop-daemon.sh start datanode sudo sbin/yarn-daemon.sh start resourcemanager sudo sbin/yarn-daemon.sh start nodemanager sudo ...
YARN集群的mapreduce测试（一）
weixin_30673611的博客
12-14 109
hadoop集群搭建中配置了mapreduce的别名是yarn [hadoop@master01 hadoop]$ mv mapred-site.xml.template mapred-site.xml [hadoop@master01 hadoop]$ vi mapred-site.xml <property> 　　<name>mapreduce.frame...
MR-3.Hadoop使用YARN运行MapReduce工作原理
艾文
01-29 3047
运行一个MapReduce的作业，可以调用job对象的submit()方法（一般调用job的的waitForCompletion），主要是提交一个job。 整个作业的提交过程，涉及5个重要的实体对象： （1）          Client，提交MapReduce作业 （2）          YARN resource manager：协调整个集群计算资源 （3）          YA
Hadoop环境搭建三之配置部署启动YARN以及在YARN上运行MapReduce程序
不清不慎的博客
03-24 1156
一、配置部署启动YARN 1.在hadoop安装目录下找到etc/hadoop目录，在这个目录下找到yarn-env.sh文件进行如下配置：（保险起见配置Java环境） 2.然后找到yarn-site,xml文件配置： &lt;property&gt; &lt;name&gt;yarn.resourcemanager.hostname&lt;/name&gt; ...
远程Hadoop调试——mapreduce函数调试篇
The Big Data Way
03-04 262
上一次记录了如何调试NN，JT，DT，JT，这次记录为调试mapreduce函数，和前几个应用不同，mapreduce为Child进程，不能直接通过bin/hadoop文件中开启远程调试端口，具体操作如下：   1. 选定一台调试机器，修改mapred-site.xml文件，添加如下配置： &lt;property&gt; &lt;name&gt;mapred.child...
Hadoop伪分布式运行模式: YARN 运行 MapReduce程序
weixin_44065078的博客
09-28 245
Hadoop伪分布式运行模式: YARN 运行 MapReduce程序一.启动YARN并运行MapReduce程序1. 分析2. 执行步骤2.1 配置集群2.2 启动集群2.3 集群操作 一.启动YARN并运行MapReduce程序 1. 分析 配置集群在 YARN 上运行 MapReduce 启动, 测试集群增, 删, 查 在 YARN 上执行 WordCount 案例 2. 执行步骤 2.1 配置集群 配置 yarn-env.sh配置一下 JAVA_HOME exportJAVA_HOME=/o
Hadoop MapReduce工作流程（无Yarn模式）
u010108512的博客
04-27 427
https://blog.csdn.net/Athenaer/article/details/8203990 1、整体流程 整体流程如下： 1、运行mapred程序； 2、本次运行将生成一个Job，于是JobClient向JobTracker申请一个JobID以标识这个Job； 3、JobClient将Job所需要的资源提交到HDFS中一个以JobID命名的目录中。这些资源包括JAR包、配置...
Hadoop YARN中MapReduce内存与CPU调度优化策略详解
在Hadoop集群中，YARN作为资源调度器，负责管理和分配集群内的CPU和内存资源给MapReduce任务。本文详细讨论了在不使用默认参数的情况下，如何对YARN的CPU和内存进行配置，以优化MapReduce任务的性能和资源利用率。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值