提交自己开发的MR作业到YARN上运行的步骤

最新推荐文章于 2020-08-06 13:46:18 发布
最新推荐文章于 2020-08-06 13:46:18 发布
阅读量628 收藏
点赞数
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/vincent_duan/article/details/102968517
版权
  1. mvn clean package -DskipTests
  2. 把编译出来的jar包（项目目录/target/…jar）以及测试数据上传到服务器
  3. 把数据上传到HDFS
    hadoop fs -put xxx HDFSPATH
  4. 执行作业
    hadoop jar xxx.jar 完整的类名 args…
  5. 到YARN UI（8088）上去观察作业的运行情况
  6. 到输出目录去查看对应的输出结果
vincent_hahaha
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MR作业提交全过程
AHincsdn的博客
08-09 2161
client调用job.waitForCompletion方法，向整个集群提交MapReduce作业 (第1步) 。 新的作业ID(应用ID)由资源管理器分配(第2步). 作业的client核实作业的输出, 计算输入的split,将作业的资源(包括Jar包, 配置文件, split信息)拷贝给HDFS(第3步). 最后, 通过调用资源管理器的submitApplication()来提交作业(第4步). 当资源管理器收到submitApplication()的请求时, 就将该请求发给调度器(sch
yarn的作业提交一个过程
大曹的博客
11-04 1060
yarn的作业提交一个过程 首先yarn是什么东西，在hadoop1.x的时候并没有yarn。mr即使计算框架也是资源调度框架，而复杂的框架造成资源分配不合理，经常浪费资源或者无法很好利用资源，所以在hadoop2.x之后呢，加入了一个yarn资源调度框架，它有什么好处呢?从此之后，集群的资源，不光是mr可以利用，spakr也可以利用，他就像一个管家，不管谁来，它负责分配资源，增加了集群资源利用率...
提交自定义开发的MR作业到YARN上运行
孤独的博客
08-19 343
运行步骤 mvn clean package -DskipTests window/Mac/Linux ==> Maven 把编译出来的jar包以及测试数据上传到服务器上 scp xxxx hadoop@hostname:directory 把数据上传到HDFS 执行作业 到YARN UI上观察作业情况，到输出目录查看输出结果 ...
MR提交job到YARN的流程
bbbbobbb的博客
08-06 893
MR提交job到YARN的流程 （1）首先client里执行一个MapReduce程序，这个程序运行在client端的JVM里，在main方法中最后有一个job.waitForCompletion(true)方法，当执行这个方法后会触发job.submitJob方法，准备向RM提交一个application。 （2）RM接受到请求后，会为这个application生成一个application +id编号，并且client会检查输出路径是否已存在，输入输出路径信息是否齐全。不管检查有问题与否，RM都会给c
MapReduce作业提交到YARN上运行的步骤
简单记录生活、学习
07-29 7847
hadoop jar 包名 类名 输入参数1 输入参数2 … [hadoop@hadoop000 lib]$ hadoop jar hadoop-train-v2-1.0.jar com.imooc.bigdata.hadoop.mr.access.AccessYARNApp /access/input/access.log /access/output/
hadoop作业提交到yarn
xby_1997的博客
04-21 197
问题：failed 2 times due to AM Container for appattempt_1555657719239_0001_000002 exited with exitCode: -1 解决： https://blog.csdn.net/heylogman/article/details/78352844
启动Hadoop的HDFS提交一个Spark作业到YARN上运行
最新发布
07-27
启动Hadoop的HDFS提交一个Spark作业到YARN上运行 路径和环境：确保HADOOP_HOME和SPARK_HOME变量设置正确，且Hadoop和Spark已正确安装和配置。 Spark作业：上述脚本中的Spark作业是Spark自带的Pi示例。你需要根据你的...
java提交spark任务到yarn平台的配置讲解共9页.pdf.zip
10-28
Java提交Spark任务到YARN平台是一项常见的大数据处理操作，它结合了Java的编程能力和Spark的高性能计算框架，以及Hadoop的资源管理系统YARN。在这个过程中，开发者需要理解多个关键概念和配置步骤，以便有效地调度和...
java提交spark任务到yarn平台的配置讲解共9页
10-30
在Spark生态系统中，Java作为广泛使用的编程语言...总的来说，Java提交Spark任务到YARN平台涉及环境配置、代码编写、任务打包和提交等多个步骤。理解并熟练掌握这些步骤对于开发和运行大规模分布式Spark应用至关重要。
hadoop学习总结包含mr、yarn、hdfs
04-18
hadoop学习总结包含mr、yarn、hdfs
从gitlab拉取代码、提交代码、提MR流程
热门推荐
Delicia_Lani的博客
12-18 2万+
以前在小公司实习，只需要简单提交代码，没有涉及代码分支，请求合并分支等，现在入职到大公司，代码规范要求较高，且多人协作开发，这一必须的技能要会，手忙脚乱之余，终于搞懂了整个流程。 第一个疑问：我从gitlab上面拉代码的时候要不要切分支？ git clone代码之前，可以直接拉取master分支上的代码，master分支的代码要求时刻处于部署的状态，是完整的。 代码拉下来之后，本地代码也...
IDEA中MR提交作业到yarn，踩坑汇总
阿顾的博客
09-03 1548
跑mapreduce任务只知道在在本地打成jar，提交到hadoop集群上去跑任务，如果出现错误往往很难定位错误，所以远程debug是开发中不可或缺的技能 一 Permission denied（权限问题） 权限问题，idea运行job时，报如下错误 Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.securi...
客户端向yarn提交MR作业流程简述
然然然星人的博客
01-04 4664
这里简述一下客户端向yarn提交MR作业是，yarn是如何进行调度，同时会有哪些进程(windos下为线程)协调工作。1、yarn简述yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式操作系统平台，而mapreduce等运算程序则相当于运行与操作系统之上的应用程序。yarn在hadoop2.x系列中被加入的资源管理器，取代hadoop1.x中的jobtracker，将资...
IDEA开发mapreduce程序本地提交到Yarn运行
边看边学
09-08 520
public class WC_Yarn { public static void main(String[] args) throws Exception { //1.获取job对象 Properties properties = System.getProperties(); properties.setProperty("HADOOP...
从Java代码远程提交YARN MapReduce任务
MercedesQQ的专栏
11-22 8441
在Hadoop上运行MapReduce任务的标准做法是把代码打包到jar里面，上传到服务器，然后用命令行启动。如果你是从一个Java应用中想要启动一个MapReduce，那么这个方法真是又土又麻烦。 其实YARN是可以通过Java程序向Hadoop集群提交MapReduce任务的。与普通的任务不同的是，远程提交的Job由于读不到服务器上的mapred-site.xml和yarn-site.xml
Yarn的工作流程（mr提交应用程序）
qq_34382453的博客
10-16 1337
Yarn的工作流程如下图： 1、 用户向Yarn提交应用程序，其中包括ApplicationMaster程序、启动ApplicationMaster的命令、用户程序等。 2、ResourceManager为该程序分配第一个Container,并与对应的NodeManager通信，要求它在对应的Container中启动应用程序的ApplicationMaster。 3、ApplicationMas...
Hadoop 启动 YARN
DMS程序猿
01-10 1万+
1，首先进入hadoop目录：cd /usr/local/hadoop 2，修改配置文件 mapred-site.xml，这边需要先进行重命名：      mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml      然后修改内容：gedit ./etc/hadoop/mapred-site.xm
YARN 提交作业
LuckyTHP
02-28 571

 提交MR作业到YARN运行 shell命令： 　　　hadoop jar （jar包） （处理类） （参数，如果有） 　　　例如：hadoop jar xxxx.jar pi 2 3
 
 
 
 
 
 
 
 
 
 
 
 ...
MR程序在yarn上的运行基本流程
Werkple的博客
03-25 738
1:客户端提交job到resourceManger 2:resourceManger创建job任务 返回工作路径给客户端 3:客户端接收到工作路径后会在HDFS上创建工作目录,初始化job 创建工作目录: 1读取默认的配置 自定义配置(conf.xml) 2计算要处理的数据(计算任务切片) 3上传jar包 4:客户端向resourceManger请求创建任务的容器(1core,1.5G) 5:r...
cdh6.3.2 spark-submit 提交作业到 yarn
06-28
总的来说，通过spark-submit命令提交作业到YARN非常方便，只需指定相应的参数即可实现作业的分布式部署，提高执行效率并节省时间。 回答3：</h3><br/>CDH 6.3.2 是包含了 Hadoop、Hive、Spark 等组件的大数据平台...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值