使用YARN启动hadoop运行MapReduce程序

最新推荐文章于 2023-09-10 12:41:48 发布
最新推荐文章于 2023-09-10 12:41:48 发布
阅读量2.4k 收藏 2
点赞数
分类专栏： 大数据 文章标签： yarn MapReduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chen18677338530/article/details/92831604
版权
  1. 修改yarn-env文件

在这里插入图片描述
2. 修改yarn-env文件
在这里插入图片描述
3. 配置mapred-env文件
在这里插入图片描述
4. 重命名和修改mapred-site.xml.template为mapred-site.xml
在这里插入图片描述

  1. 保证NameNode和DataNode已经正常启动

  2. 启动ResourceManager

    ./sbin/yarn-daemon.sh start resourcemanager

  3. 启动NodeManager

    ./sbin/yarn-daemon.sh start nodemanager

  4. 查看启动结果
    在这里插入图片描述

  5. 浏览器查看
    在这里插入图片描述

  6. 执行mapreduce程序

hdfs dfs -rm -R  /data/hadoop/output

hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar  wordcount /data/hadoop/input/ /data/hadoop/output

在这里插入图片描述

chen18677338530
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
MapReduce操作
HMLieder的博客
12-14 1208
MapReduce操作
Yarn个人总结
sigarar的博客
10-10 962
1.1 YARN 基本架构 YARN是Hadoop 2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。 其中ResourceManager负责整个系统的资源管理和分配，而ApplicationMaster负责单个应用程序的管理。 1.2 
大数据技术之Hadoop：提交MapReduce任务到YARN执行（八）
最新发布
路漫漫其修远兮，吾将上下而求索
09-10 1376
到这一章结束，我们的Hadoop学习就告一段落了。不是说Hadoop技术学完了，而是可以说已经入门了。至于后续要深入学习也有了方向性。下一步我们将讲解Hive技术。过程中会补充MapReduce的一些知识点。最难不过坚持，加油！🧡。
MapReduce运行Yarn上详解
yhquser的博客
07-02 156
（1）Client向Yarn主节点RM提交应用 bin/yarn jar MainClass args （2）RM在某个NM节点上启动一个Container运行AppMaster,运行应用的管理者 （3）AppMaster向RM请求资源，为了运行MapReduce中所有的Task，RM将分配NM是哪个资源，并且告知AppMaster （4）AppMaster联系NM，启动Container中相关...
mapreduce 过程详解/yarn技术架构详解/mapreduce工作机制
李思苇
11-01 1386
荐书：《hadoop技术内幕》 对于MapReduce的工作原理，看视频，看直播，都云里雾里的。没办法，找书吧，找的时候还想着，就算只有那本hadoop权威指南，我也只能硬着头皮去啃了。然后找到这本，终于解惑了，读的停不下来。真是一本好书，不晦涩，连涉及到的基础知识点都解释的非常详细，java基础一般的读起来也没有困难。 PS：书是基于hadoop1.x写的。 在MapReduce计算框架中
启动YARN并运行MapReduce程序
Beans___Lee的博客
03-29 1289
YARN是主要负责资源调度。之前已经搭建好了Hadoop集群，接下来在集群上启动YARN。 1. 配置YARN并启动 1. 配置集群 1.1 配置yarn-env.sh文件 export JAVA_HOME=你的jkd安装路径 1.2 配置yarn-site.xml文件 <!-- 指定Reduce获取数据的方式--> <property> &...
hadoop YARN部署并运行MapReduce测试程序
sz_lili的博客
07-07 303
前记： yarn:资源和作业的调度,需部署 MapReduce:hadoop计算引擎， 是java开发的jar包，代码复杂，企业不用，一般用hive sql 不需要部署，运行在Yarn上 yarn部署参数配置： 1.修改mapred-site.xml文件 [hadoop@Hadoop001 hadoop]$ cp mapred-site.xml.template mapred-site.xml [...
MapReduce On yarn运行过程详解
weixin_37886463的博客
03-15 1816
老的MapReduce主要包括Job Tracker和Task Tracker，YARN中主要是三个组件：Resource Manager、Node Manager和Application Master。Resource Manager负责全局资源分配，Application Master每个节点一个，负责当前节点的调度和协调。Node Manager是每台机器的代理，监控应用程序的资源使用情况，...
Mapreduce执行过程分析(基于Hadoop2.4)——(一)
weixin_30420305的博客
07-10 310
1 概述 该瞅瞅MapReduce的内部运行原理了，以前只知道个皮毛，再不搞搞，不然怎么死的都不晓得。下文会以2.4版本中的WordCount这个经典例子作为分析的切入点，一步步来看里面到底是个什么情况。 2 为什么要使用MapReduce Map/Reduce，是一种模式，适合解决并行计算的问题，比如TopN、贝叶斯分类等。注意，是并行计算，而非迭代计算，像涉及到层次聚类的问题就不太适合了...
分布式计算 MapReduce与yarn工作机制
weixin_34379433的博客
11-07 199
一、第一代hadoop组成与结构第一代Hadoop，由分布式存储系统HDFS和分布式计算框架MapReduce组成，其中，HDFS由一个NameNode和多个DataNode组成，MapReduce由一个JobTracker和多个TaskTracker组成，对应Hadoop版本为Hadoop 1.x和0.21.X，0.22.x。     1、MapReduce角色分配 Client ：作业提交发起...
MapReducer任务在到Yarn上运行流程分析
csdn问鼎
01-05 482
源码看mapreduce在yarn上流程分析
MapReduce on Yarn（包含MapReduce执行详细流程）
CLAY157的博客
04-05 2878
1. MapReduce 1.1 MapReduce任务在Yarn中执行流程 MapReduce作为一种分布式计算框架，它在Yarn中执行的流程为： （1）客户端提交job； 细节： ① org.apache.hadoop.mapreduce.Job类配置job； ② mapred-site.xml中mapreduce.framework.name配置为yarn时，yarn协议会激活； ③ job.waitForCompletion(true)：将job提交到Yarn集群，并等待执行完成； ④ 客户端代
Mapreduce执行过程分析(基于Hadoop2.4)——(二)
weixin_30650859的博客
07-12 143
4.3 Map类 创建Map类和map函数，map函数是org.apache.hadoop.mapreduce.Mapper类中的定义的，当处理每一个键值对的时候，都要调用一次map方法，用户需要覆写此方法。此外还有setup方法和cleanup方法。map方法是当map任务开始运行的时候调用一次，cleanup方法是整个map任务结束的时候运行一次。 4.3.1 Map介绍 M...
mapreduce程序在yarn上运行的流程
BdataLZL的博客
10-30 1782
自己学习mapreduce的一点简单的心得 1.当我们在准备在yarn上运行一个mapreduce程序时，job.waitForCompletion()就会去Resource Manager发出一个请求，请求运行一个m r程序； 2.hdfs在获得这个请求之后，会去分配一个jobid和一个job资源提交的路径； 3.接下来就是准备向HDFS提交所需要的资源，分别是所需要的jar包以及计算切片
MapReduce的作业流程以及新一代MapReduce——YARN
CrocdileChan的博客
05-09 2706
了解mapreduceV1（旧版本的mapreduce）与mapreduceV2（YARN）的区别我们需要先深入理解一下mapreduceV1的工作机制和设计思想。首先看一下mapreduce V1的运行图解 MapReduce V1的组件及功能分别是： Client：客户端，负责编写mapreduce代码并配置和提交作业。 JobTracker：是整个mapreduce框架的核心，类似于
MapReduce在yarn中的执行过程
sinat_27634939的博客
04-30 767
    在MapReduce工作原理简介中我简单的了解了MapReduce的工作原理，在这篇文章中，我们将要了解MapReduce的执行过程。我们知道从Hadoop2.X，采用的是yarn作为资源管理系统，我们将要了解MapReduce在yarn中的执行过程。同样，对于yarn，网上有很多大神的写的博客，这里我主要是结合自己的理解，对知识进行积累。1.概念名词简介    yarn是资源管理系统，采...
pandas filter_数据科学｜pandas教程——分组和聚合
weixin_39758032的博客
11-27 1005
『运筹OR帷幄』原创作者：周岩 王转转编者按_在对数据处理的过程中，除了前期对数据的清洗，更多的工作是需要根据不同的分析需求对数据进行整合。比如需要统计某类数据的出现次数，或者需要按照不同级别来分别统计等等。为满足这些需求，比较常用的方法即分组和聚合。幸运的是，pandas中完美支持了这样的功能，掌握好pandas中这些功能，可以使数据处理的效率大大提高。这篇文章就通过一些基础而又十分扎实的例子带...
Yarn原理加强之---MapReduce程序在Yarn上简易运行流程
weixin_45484707的博客
08-20 423
1、提交job： 客户端Client提交job到Yarn主节点ResourceManager上，ResourceManager有两个组件： 一个是ApplicationMaster，用于管理所有applicaion，接收所有job； 第二个是Sheduler：用于资源调度，管理集群资源、分配资源。 2、启动NodeManager： NodeManager启动向，向ResourceManager汇报运算资源情况。 3、分配jobID和工作IDL： ApplicationManager分配jobID，并分配默认
hadoop2.0之mapReduce启动运行全流程解析
阿华田的博客
04-20 2584
mapReduce在Hadoop2.x中各部分简介： ResourceManager，RM：管理集群上资源使用的资源管理器： Application Master,AM：管理集群上运行任务声明周期的应用管理器： 应用服务器MA和资源管理器RM协商集群的计算资源：容器（Container，每个容器都有特定的内存上线），在这些容器上运行特定应用程序的进程，容器由集群节点...
Hadoop YARN中MapReduce内存与CPU调度优化策略详解
4. `yarn.app.mapreduce.am.resource.mb`：MapReduce应用程序的Application Master（AM）所需的内存。 5. `yarn.app.mapreduce.am.command-opts`：AM命令选项，可能影响内存分配。 6. `mapreduce.map.memory.mb`：...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值