提交案例到YARN上运行

最新推荐文章于 2023-12-17 00:02:00 发布
最新推荐文章于 2023-12-17 00:02:00 发布
阅读量414 收藏
点赞数
分类专栏： 大数据 文章标签： 代码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45400755/article/details/99710620
版权
本文展示了如何在Hadoop环境中提交一个示例任务到YARN进行运行，并通过YARN界面监控任务状态。详细记录了从提交任务到任务完成的整个过程，包括MapReduce作业的启动、运行及完成时的输出信息。
摘要由CSDN通过智能技术生成

其实在hadoop里面有丰富的测试案例可以提供给我们测试。
在hadoop的share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.15.1.jar
里面
在这里插入图片描述
之后开始测试

Hadoop jar  hadoop-mapreduce-examples-2.6.0-cdh5.15.1.jar pi  2 3

产看YARN界面，观看APPlication运行情况
在这里插入图片描述
之后运行完成
在这里插入图片描述
运行具体流程
Number of Maps = 2
Samples per Map = 3
Wrote input for Map #0
Wrote input for Map #1
Starting Job
19/08/18 22:36:27 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
19/08/18 22:36:28 INFO input.FileInputFormat: Total input paths to process : 2
19/08/18 22:36:29 INFO mapreduce.JobSubmitter:

最低0.47元/天 解锁文章
慢熟的孩子
关注
专栏目录
大数据学习之路24-从windows平台提交job到yarn上运行
爱米酱的博客
08-18 609
借用上一篇json解析的案例，我们来实现从windows平台提交job到yarn上运行。 1.在与yarn交互的代码中我们首先要添加下面的代码： //不设置这个默认在本地运行 conf.set("fs.defaultFS","hdfs://marshal:9000"); conf.set("mapreduce.framework.name","yarn"); conf.set("yarn.r...
linux下安装、配置hadoop、在yarn上运行jar包
liyongshun_123的博客
04-25 7693
linux下安装、配置hadoop、在yarn上运行jar包，配置MapReduce历史服务器MRHistoryServer、 配置YARN日志聚集功能 上传解压 配置HAPDOOP 1、上传解压 赋予hadoop-2.7.3.tar.gz执行权限 $ chmod u+x hadoop-2.7.3.tar.gz 解压到指定目录 $ tar -zxf hadoop-2....
Yarn 容量调度器多队列提交案例
好好学习天天向上
06-01 244
默认只有一个default队列，不能满足生产要求。一般按照业务模块如登录注册、购物车等创建队列。需求1：default队列占总内存的40%，最大资源容量占总资源60%（本身占40%可以再借用20%），hive队列占总内存的60%，最大资源容量占总资源80% 需求2:配置队列优先级在/opt/module/hadoop-3.1.3/etc/hadoop下的capacity-scheduler.xml中配置直接配置不好配，我们先下载 修改如下配置 补充: 容量调度器所有的队列从根目录开始？ SecureCRT下
spark2.1.1yarn模式下，运行自带example的异常
sinat_40889431的博客
05-04 1370
运行spark自带的计算圆周率examplespark-submit  --master yarn --deploy-mode cluster --class org.apache.spark.examples.SparkPi examples/jars/spark-examples_2.11-2.1.1.jar错误日志如下spark-env.sh 设置如下hadoo   yarn-site.xm...
HadoopYarn—创建Eclipse工程
wk022的专栏
06-13 433
转载地址：http://www.bitscn.com/pdb/otherdb/201505/497680.html 1. 安装环境介绍如下： 系统：Ubuntu14.04 Hadoop版本：hadoop-2.5.0（点击下载） Java版本：openjdk-1.7.0_55 Eclipse版本：Release 4.4.0 (点击下载) 2. 把下载Hadoop源码包 hadoop-2.
十七、如何将MapReduce程序提交到YARN运行
最新发布
2301_79149013的博客
12-17 819
对于这些Hadoop内置的程序，他们都存储在hadoop-mapreduce-examples-3.3.6.jar中，如wordcount单词计数程序、pi求圆周率程序。执行完成后，查看some文件夹，可以看到some文件夹中存在两个子文件，第一个文件的文件名的最后一个单词，代表了本次程序运行是否成功，第二个文件存放着程序运行之后的结果。此处需要注意，对于有返回值的程序，需要指定程序参数。需要确保输出的文件夹不存在，否则会报错。
本地Pycharm将spark程序发送到远端spark集群进行处理
weixin_30466039的博客
07-25 580
前言 　　最近在搞hadoop+spark+python,所以就搭建了一个本地的hadoop环境,基础环境搭建地址hadoop2.7.7 分布式集群安装与配置,spark集群安装并集成到hadoop集群,没有配置的朋友可以参考文章搞一搞. 　　本篇博客主要说明,如何通过pycharm将程序发送到远端spark集群上进行操作处理. 　　注意:本地环境与远端的集群必须可以互相通信(建议配置内网虚...
YARN环境搭建以及实例提交运行（详细！适合小白！）
2301_76804451的博客
04-08 927
第四步，根据提示选择运行实例参数wordcount。第一步、配置mapred-site.xml文件。第二步，配置yarn-site.xml文件。第三步，启动YARN（运行以下命令）第三步，根据提示选择运行实例参数pi。1.2 提交实例到YARN上运行。第二步、运行实例查看提示；第一步，在服务端找到实例。1.1YARN环境部署。
Yarn资源调用demo案例
09-05
本示例“Yarn资源调用demo案例”旨在帮助用户理解如何在YARN上运行应用程序，以及如何有效地管理资源。下面将详细介绍YARN的工作原理、配置和应用实例。 一、YARN概述 YARN是Hadoop生态系统中的核心组件之一，主要...
【回炉重造】ConcurrentHashMap源码分析
Hellw0rld的博客
10-14 256
继承关系 继承了AbstractMap抽象类和ConcurrentMap接口 线程安全性 线程安全的 JDK1.7里容器有多把锁，每一把锁锁一段数据（segement数组，加上HashEntry单向队列table） JDK1.8版本： ①取消segments字段，直接采用transient volatile HashEntry<K,V>[] table保存数据，采用table数组元素作为锁，从而实现了对每一行数据进行加锁，并发控制使用Synchronized和CAS来操作 将原先table数组＋
Apache Hadoop MapReduce WordCount案例编程入门
猫君之上的博客
03-13 416
一.MapReduce 简介 MapReduce作为Hadoop的三大组件(功能上分)之一，主要为提供大数据平台的分布式计算，虽然比较臃肿，只适合处理离线处理，但是对于理解spark等框架的原理架构会有很大帮助。 二.WordCount案例编写 为了测试方便，因此直接在windows10本地测试本案例 1.准备阶段 1）数据准备 wordCountdemo.rar 解压到某个文夹下，例如本...
MapReduce 计数器简介（转载自：http://www.tuicool.com/articles/qqyIBr）
weixin_33743880的博客
06-04 144
1、计数器简介 在许多情况下，一个用户需要了解待分析的数据，尽管这并非所要执行的分析任务 的核心内容。以统计数据集中无效记录数目的任务为例，如果发现无效记录的比例 相当高，那么就需要认真思考为何存在如此多无效记录。是所采用的检测程序存在 缺陷，还是数据集质量确实很低，包含大量无效记录？如果确定是数据集的质量问 题，则可能需要扩大数据集的规模，以增大有效...
Hadoop Streaming入门
liang0000zai的专栏
01-20 7230
说明：本文使用的Hadoop版本是2.6.0，示例语言用Python。 概述 Hadoop Streaming是Hadoop提供的一种编程工具，提供了一种非常灵活的编程接口， 允许用户使用任何语言编写MapReduce作业，是一种常用的非Java API编写MapReduce的工具。 调用Streaming的命令如下（hadoop-streaming-x.x.jar不同版本的位置不同
Centos7下Hadoop完全分布式安装
蔡政洁的博客
06-03 575
目录Centos7下Hadoop完全分布式安装第一步：安装文件第二步：免密登录配置（1）vim 的安装（2）host配置（3）关闭防火墙（4）实现免密登陆（5）安装NTP时间同步服务第三步：配置环境变量第四步：设置Hadoop配置文件（1）配置hadoop-env.sh文件（2）配置core-site.xml文件（3）配置hdfs-site.xml文件（4）配置mapred-site.xml文件（5）配置yarn-site.xml文件（6）修改 slaves 文件第五步：分发配置到 node2、node3
linux运行wordcount,Hadoop之本地运行WordCount
weixin_33859931的博客
05-11 279
本文主要记录在windows搭建Hadoop开发环境并编写一个WordCount的mapreduce在本地环境执行。主要内容：1.搭建本地环境2.编写WordCount并在本地运行1.搭建本地环境1.1.解压去官网下载指定的hadoop版本hadoop-2.7.3.tar.gz将下载好的hadoop压缩包解压到任意目录拷贝winutils.exe 到 hadoop-2.7.3/bin 目录下1.2...
CombineTextInputFormat用法
鲍礼彬的CSDN博客 ~_~
04-16 5434
输入数据： 代码： package inputformat; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.Lo
Ubuntu中实现mapreduce编程
Above the cloud
08-10 2489
注意：在写本文前，已经完成了三台机的Hadoop集群，desktop机已经配好了网络、yum源、关闭了防火墙等操作，详细请看本专栏第一、二篇 部署eclipse 1、创建hadoop用户 root@ddai-desktop:~# groupadd -g 285 hadoop root@ddai-desktop:~# useradd -u 285 -g 285 -m -s /bin/bash hadoop root@ddai-desktop:~# passwd hadoop New password: Re
hadoop 测试第一个mapreduce程序
weixin_33835690的博客
04-14 231
说明：测试hadoop自带的实例 wordcount程序（此程序统计每个单词在文件中出现的次数）2.6.0版本jar程序的路径是/usr/local/hadoop-2.6.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar一、在本地创建目录和文件创建目录：mkdir /home/hadoop/inputcd...
Yarn资源调用实例教程与demo案例分析
在demo案例中，可能会展示如何通过编程的方式设置资源请求，并将其与应用程序提交到Yarn上进行处理。具体的代码实现可能涉及创建`ResourceRequest`对象，并通过`ApplicationSubmissionContext`将其加入到应用程序的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值