hadoop提供了一个跑在yarn上的示例，可以运行

最新推荐文章于 2021-12-30 18:29:15 发布
最新推荐文章于 2021-12-30 18:29:15 发布
阅读量1k 收藏
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29467751/article/details/47403129
版权
执行命令

bin/hadoop jar share/hadoop/yarn/hadoop-yarn-applications-distributedshell-2.5.2.jar org.apache.hadoop.yarn.applications.distributedshell.Client --jar share/hadoop/yarn/hadoop-yarn-applications-distributedshell-2.5.2.jar --shell_command ls --num_containers 10 --container_memory 350 --master_memory 350 --priority 10



执行日志-----日志

15/07/21 18:13:23 INFO distributedshell.Client: Initializing Client
15/07/21 18:13:23 INFO distributedshell.Client: Running Client
15/07/21 18:13:24 INFO client.RMProxy: Connecting to ResourceManager at Hadoop-Master/192.168.70.65:8032
15/07/21 18:13:24 INFO distributedshell.Client: Got Cluster metric info from ASM, numNodeManagers=3
15/07/21 18:13:24 INFO distributedshell.Client: Got Cluster node info from ASM
15/07/21 18:13:24 INFO distributedshell.Client: Got node report from ASM for, nodeId=Hadoop-Node2:38911, nodeAddressHadoop-Node2:8042, nodeRackName/default-rack, nodeNumContainers0
15/07/21 18:13:24 INFO distributedshell.Client: Got node report from ASM for, nodeId=Hadoop-Node1:45191, nodeAddressHadoop-Node1:8042, nodeRackName/default-rack, nodeNumContainers0
15/07/21 18:13:24 INFO distributedshell.Client: Got node report from ASM for, nodeId=Hadoop-Node0:44608, nodeAddressHadoop-Node0:8042, nodeRackName/default-rack, nodeNumContainers0
15/07/21 18:13:24 INFO distributedshell.Client: Queue info, queueName=default, queueCurrentCapacity=0.0, queueMaxCapacity=1.0, queueApplicationCount=0, queueChildQueueCount=0
15/07/21 18:13:24 INFO distributedshell.Client: User ACL Info for Queue, queueName=root, userAcl=SUBMIT_APPLICATIONS
15/07/21 18:13:24 INFO distributedshell.Client: User ACL Info for Queue, queueName=root, userAcl=ADMINISTER_QUEUE
15/07/21 18:13:24 INFO distributedshell.Client: User ACL Info for Queue, queueName=default, userAcl=SUBMIT_APPLICATIONS
15/07/21 18:13:24 INFO distributedshell.Client: User ACL Info for Queue, queueName=default, userAcl=ADMINISTER_QUEUE
15/07/21 18:13:24 INFO distributedshell.Client: Max mem capabililty of resources in this cluster 8192
15/07/21 18:13:24 INFO distributedshell.Client: Max virtual cores capabililty of resources in this cluster 32
15/07/21 18:13:24 INFO distributedshell.Client: Copy App Master jar from local filesystem and add to local environment
15/07/21 18:13:25 INFO distributedshell.Client: Set the environment for the application master
15/07/21 18:13:25 INFO distributedshell.Client: Setting up app master command
15/07/21 18:13:25 INFO distributedshell.Client: Completed setting up app master command {{JAVA_HOME}}/bin/java -Xmx350m org.apache.hadoop.yarn.applications.distributedshell.ApplicationMaster --container_memory 350 --container_vcores 1 --num_containers 10 --priority 0 1>/AppMaster.stdout 2>/AppMaster.stderr 
15/07/21 18:13:25 INFO distributedshell.Client: Submitting application to ASM
15/07/21 18:13:25 INFO impl.YarnClientImpl: Submitted application application_1430970937754_0008
15/07/21 18:13:26 INFO distributedshell.Client: Got application report from ASM for, appId=8, clientToAMToken=null, appDiagnostics=, appMasterHost=N/A, appQueue=default, appMasterRpcPort=-1, appStartTime=1437473605691, yarnAppState=ACCEPTED, distributedFinalState=UNDEFINED, appTrackingUrl=http://Hadoop-Master:8088/proxy/application_1430970937754_0008/, appUser=hadoop
15/07/21 18:13:27 INFO distributedshell.Client: Got application report from ASM for, appId=8, clientToAMToken=null, appDiagnostics=, appMasterHost=N/A, appQueue=default, appMasterRpcPort=-1, appStartTime=1437473605691, yarnAppState=ACCEPTED, distributedFinalState=UNDEFINED, appTrackingUrl=http://Hadoop-Master:8088/proxy/application_1430970937754_0008/, appUser=hadoop
15/07/21 18:13:28 INFO distributedshell.Client: Got application report from ASM for, appId=8, clientToAMToken=null, appDiagnostics=, appMasterHost=Hadoop-Node1/192.168.70.61, appQueue=default, appMasterRpcPort=-1, appStartTime=1437473605691, yarnAppState=RUNNING, distributedFinalState=UNDEFINED, appTrackingUrl=http://Hadoop-Master:8088/proxy/application_1430970937754_0008/A, appUser=hadoop
15/07/21 18:13:29 INFO distributedshell.Client: Got application report from ASM for, appId=8, clientToAMToken=null, appDiagnostics=, appMasterHost=Hadoop-Node1/192.168.70.61, appQueue=default, appMasterRpcPort=-1, appStartTime=1437473605691, yarnAppState=RUNNING, distributedFinalState=UNDEFINED, appTrackingUrl=http://Hadoop-Master:8088/proxy/application_1430970937754_0008/A, appUser=hadoop
15/07/21 18:13:30 INFO distributedshell.Client: Got application report from ASM for, appId=8, clientToAMToken=null, appDiagnostics=, appMasterHost=Hadoop-Node1/192.168.70.61, appQueue=default, appMasterRpcPort=-1, appStartTime=1437473605691, yarnAppState=RUNNING, distributedFinalState=UNDEFINED, appTrackingUrl=http://Hadoop-Master:8088/proxy/application_1430970937754_0008/A, appUser=hadoop
15/07/21 18:13:31 INFO distributedshell.Client: Got application report from ASM for, appId=8, clientToAMToken=null, appDiagnostics=, appMasterHost=Hadoop-Node1/192.168.70.61, appQueue=default, appMasterRpcPort=-1, appStartTime=1437473605691, yarnAppState=RUNNING, distributedFinalState=UNDEFINED, appTrackingUrl=http://Hadoop-Master:8088/proxy/application_1430970937754_0008/A, appUser=hadoop
15/07/21 18:13:32 INFO distributedshell.Client: Got application report from ASM for, appId=8, clientToAMToken=null, appDiagnostics=, appMasterHost=Hadoop-Node1/192.168.70.61, appQueue=default, appMasterRpcPort=-1, appStartTime=1437473605691, yarnAppState=RUNNING, distributedFinalState=UNDEFINED, appTrackingUrl=http://Hadoop-Master:8088/proxy/application_1430970937754_0008/A, appUser=hadoop
15/07/21 18:13:33 INFO distributedshell.Client: Got application report from ASM for, appId=8, clientToAMToken=null, appDiagnostics=, appMasterHost=Hadoop-Node1/192.168.70.61, appQueue=default, appMasterRpcPort=-1, appStartTime=1437473605691, yarnAppState=RUNNING, distributedFinalState=UNDEFINED, appTrackingUrl=http://Hadoop-Master:8088/proxy/application_1430970937754_0008/A, appUser=hadoop
15/07/21 18:13:34 INFO distributedshell.Client: Got application report from ASM for, appId=8, clientToAMToken=null, appDiagnostics=, appMasterHost=Hadoop-Node1/192.168.70.61, appQueue=default, appMasterRpcPort=-1, appStartTime=1437473605691, yarnAppState=FINISHED, distributedFinalState=SUCCEEDED, appTrackingUrl=http://Hadoop-Master:8088/proxy/application_1430970937754_0008/A, appUser=hadoop
15/07/21 18:13:34 INFO distributedshell.Client: Application has completed successfully. Breaking monitoring loop
15/07/21 18:13:34 INFO distributedshell.Client: Application completed successfully
qq_29467751
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
guagua:Hadoop MapReduce和Hadoop YARN的迭代计算框架
05-25
Shifu的子项目Guagua是一个基于Hadoop MapReduce和YARN的分布式，可插拔和可扩展的迭代计算框架。 该图显示了瓜瓜岛的迭代计算过程。 典型使用案例瓜瓜分布机器学习基于Hadoop模型训练。 通过使用Guagua ，我们实现...
大数据【三】YARN集群部署
weixin_30662849的博客
08-04 218
一　　概述 YARN是一个资源管理、任务调度的框架，采用master/slave架构，主要包含三大模块：ResourceManager（RM）、NodeManager（NM）、ApplicationMaster（AM）。 >ResourceManager负责所有资源的监控、分配和管理，运行在主节点； >NodeManager负责每一个节点的维护，运行在从节点； >App...
Hadoop-Yarn的框架原理（二）
prefect_start的博客
12-16 709
1、Yarn生产环境核心参数 2、Yarn生产环境核心参数配置案例 需求：从1G数据中，统计每个单词出现次数。服务器3台，每台配置4G内存，4核CPU，4线程。 <!-- 选择调度器，默认容量 --> <property> <description>The class to use as the resource scheduler.</description> <name>yarn.resourcemanager.scheduler.cla
解决hadoop提交任务后一直是ACCEPTED状态的问题
qq_39545674的博客
09-28 2731
如果你在安装部署好hadoop之后，提交一个测试例子，但是一直处于ACCPTED状态，不运行，可能原因有以下几种： 1 集群资源不可用 节点不可用 访问hadoop的web界面，端口是8088，看一下active node ，unhealth node情况，如果active node为0，集群节点都是unhealth node的话，就是你的节点资源不可用，可能是节点机器内存爆掉了（90%），清理一下，或者扩容即可 节点访问失败 这个错误很隐蔽，具体原因就是和节点通信不上，也许你在workers文件中配置了i
YARN和yarn中运行运算程序的示例
TBSOD的博客
03-14 512
YARN是一个资源调度平台，负责为运算程序提供服务器运算资源。相当于一个分布式的操作系统，而mapReduce相当于一个运行在其上的应用程序。YARN的重要概念：    1、不知到程序运行的内部机制    2、只提供资源调度（应用程序向其请求资源，分配资源）    3、管理角色，resourcemanager，负责程序资源的调度，监控程序。    4、nodemanager为应用程序分配资源   ...
Yarn资源分配示例
数据科学汇集
05-23 6763
Yarn资源分配示例 1 简介 此手册应用于yarn资源按照队列分配的情景。 2 准备 2.1 环境说明 hadoop版本: hadoop-2.5.0-cdh5.3.3 3 配置 3.1 配置说明 1) Yarn-site.xml里配置yanr能用到的资源总数以及公平调度策略所在路径 #在虚拟机关机情况下，选中后点击设置，在控制器SATA处点击右边的加号以创建虚拟硬盘。
tf-yarn:仅需几行代码即可在YARN上训练TensorFlow模型！
05-17
它支持在一个或多个具有不同分配策略的工作器上运行，并且可以仅使用几行代码就可以在CPU或GPU上运行。 它的API提供了一个与Estimators和Keras一起使用的简单入口点。 请参考以获取一些代码示例。 支持所有类型的...
YarnExamples:Hadoop 2 (YARN API) 中带有 Map Reduce 示例的存储库
07-05
Hadoop 2 (YARN API) 中带有 Map Reduce 示例的存储库 目前的例子： 如何执行示例？ 我假设你克隆了这个存储库，你用 netbeans 编译并构建了一个 jar 文件，并且你已经安装了 Hadoop 2.X。 如果之前没问题，则应...
Hadoop-Exmaple:Hadoop简单示例
05-22
#Hadoop简单示例SchedulerEmulator：Hadoop YARN调度程序测试工具。 /** * A tool to emulate a job to allocating specified size of resource and specified time from Resource Manager. * It is based on the ...
TAG_HADOOP:TAG_HADOOP
06-29
作为介绍性练习，您可以运行 WordCount 讲座（和教程）中的示例： cd /usr/local/hadoop-2.5.1 bin / hadoop jar /usr/local/hadoop-2.5.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.1.jar wordcount ...
董西成：Hadoop YARN程序设计与应用案例
01-30
Hadoop 10周年生日之际，CSDN主办的“Hadoop英雄会——暨Hadoop 10周年生日大趴”，Hulu高级研发工程师董西成介绍了Hadoop YARN程序设计与应用案例。
Hadoop YARN常见问题以及解决方案
我爱大海V5的专栏
02-10 1720
本文汇总了几个hadoop yarn中常见问题以及解决方案，注意，本文介绍解决方案适用于hadoop 2.2.0以及以上版本。 （1） 默认情况下，各个节点的负载不均衡（任务数目不同），有的节点很多任务在跑，有的没有任务，怎样让各个节点任务数目尽可能均衡呢？ 答： 默认情况下，资源调度器处于批调度模式下，即一个心跳会尽可能多的分配任务，这样，优先发送心跳过来的节点将会把任务领光
yarn案例
勇心在馨
08-05 153
一、Yarn 生产环境核心参数配置案例 1、需求：从 1G 数据中，统计每个单词出现次数。服务器 3 台，每台配置 4G 内存，4 核 CPU，4 线程。 （1）需求分析 1G / 128m = 8 个 MapTask；1 个 ReduceTask；1 个 mrAppMaster 平均每个节点运行 10 个 / 3 台 ≈ 3 个任务（4 3 3） （2）修改 yarn-site.xml 配置参数如下 <!-- 选择调度器，默认容量 --> <property> ...
第4节、Yarn案例实操
weixin_45702895的博客
12-30 1361
注意：调整下列参数之前尽量拍摄Linux快照，否则后续的案例还需重写集群。 一、Yarn生产环境核心参数配置案例 1）需求：从 1G 数据中，统计每个单词出现次数。服务器 3 台，每台配置 4G 内存，4 核 CPU，4 线程。 2）需求分析： 1G / 128m = 8 个 MapTask；1 个 ReduceTask；1 个 mrAppMaster 平均每个节点运行 10 个 / 3 台 ≈ 3 个任务（4 3 3） 3）修改 yarn-site.xml 配置参数如下： <!-- 选择调度器，默认
hadoop 0.23 YARN分布式程序的编写 （Hadoop MapReduce Next Generation - Writing YARN Applications）
bertzhang的专栏
12-26 3991
原文：http://hadoop.apache.org/common/docs/r0.23.0/hadoop-yarn/hadoop-yarn-site/WritingYarnApplications.html 目的     这个文档从比较高的层面上描述了如何编写一个YARN应用 概念和流程     首先说的概念是“Application Submission Client”他负责将“Ap
ASP.NET教务信息管理系统的设计与实现(源代码+论文).rar
04-17
计算机毕业设计，含源码
清新大气时尚简约论文答辩，通用模版(静态）691012.pptx.zip
04-17
清新大气时尚简约论文答辩，通用模版(静态）691012.pptx
清爽简约论文答辩模板.ppt.zip
最新发布
04-17
清爽简约论文答辩模板.ppt
内蒙古自治区各地级市市辖区数据1999-2022人均GDP建成区居住用地道路面积供用水燃气财政收支就业参保人数医院床位等.xls
04-17
数据来源：中经数据库 主要指标110多个（全部都是纯粹的 市辖区 指标），大致是： GDP GDP增速 第一产业增加值占GDP比重 第二产业增加值占GDP比重 第三产业增加值占GDP比重 人均GDP 社会消费品零售总额 固定资产投资(不含农户) 新设外商投资企业数_外商直接投资 实际利用外资金额(美元) 一般公共预算收入 一般公共预算支出 一般公共预算支出_教育 一般公共预算支出_科学技术 金融机构人民币各项存款余额_个人储蓄存款 金融机构人民币各项存款余额 金融机构人民币各项贷款余额 规模以上工业企业单位数 规模以上工业企业单位数_内资企业 规模以上工业企业单位数_港澳台商投资企业 规模以上工业企业单位数_外商投资企业 规模以上工业总产值 规模以上工业总产值_内资企业 规模以上工业总产值_港澳台商投资企业 规模以上工业总产值_外商投资企业 规模以上工业企业流动资产合计 规模以上工业企业固定资产合计 规模以上工业企业利润总额 规模以上工业企业应交增值税 规模以上工业企业主营业务税金及附加 户籍人口数 年均户籍人口数 户籍人口自然增长率 第一产业就业人员占全部城镇单位就业人员比重 第二产业就业人员占全部城镇单位就业人员比重 第三产业就业人员占全部城镇单位就业人员比重 城镇非私营单位就业人员数 城镇非私营单位就业人员数_第一产业 城镇非私营单位就业人员数_第二产业 城镇非私营单位就业人员数_第三产业 城镇非私营单位就业人员数_农、林、牧、渔业 城镇非私营单位就业人员数_采矿业 城镇非私营单位就业人员数_制造业 城镇非私营单位就业人员数_电力、热力、燃气及水生产和供应业 城镇非私营单位就业人员数_建筑业 城镇非私营单位就业人员数_批发和零售业 城镇非私营单位就业人员数_交通运输、仓储和邮政业 城镇非私营单位就业人员数_住宿和餐饮业 城镇非私营单位就业人员数_信息传输、软件和信息技术服务业 城镇非私营单位就业人员数_金融业 城镇非私营单位就业人员数_房地产业 城镇非私营单位就业人员数_租赁和商务服务业 城镇非私营单位就业人员数_科学研究和技术服务业 城镇非私营单位就业人员数_水利、环境和公共设施管理业 城镇非私营单位就业人员数_居民服务、修理和其他服务业 城镇非私营单位就业人员数_教育 城镇非私营单位就业人员数_卫生和社会工作 城镇非私营单位就业人员数_文化、体育和娱乐业 城镇非私营单位就业人员数_公共管理、社会保障和社会组织 城镇非私营单位在岗职工平均人数 城镇就业人员数_私营企业和个体 城镇非私营单位在岗职工工资总额 城镇非私营单位在岗职工平均工资 城镇登记失业人员数 建成区面积 建设用地面积 建设用地面积_居住用地 液化石油气供气总量 液化石油气供气总量_居民家庭 人工煤气、天然气供气总量 人工煤气、天然气供气总量_居民家庭 液化石油气用气人口 人工煤气、天然气用气人口 城市公共汽电车运营车辆数 城市出租汽车运营车辆数 城市公共汽电车客运总量 道路面积 排水管道长度 建成区绿化覆盖面积 建成区绿化覆盖率 绿地面积 公园绿地面积 维护建设资金支出 土地面积 生活用水供水量 供水总量 全社会用电量 城乡居民生活用电量 工业生产用电量 房地产开发投资 房地产开发投资_住宅 限额以上批发和零售业法人单位数 限额以上批发和零售业商品销售总额 普通中学学校数 中等职业教育学校数 普通小学学校数 普通高等学校专任教师数 普通中学专任教师数 中等职业教育专任教师数 普通小学专任教师数 普通高等学校在校生数 普通中学在校生数 中等职业教育在校生数 普通小学在校生数 电视节目综合人口覆盖率 公共图书馆总藏量_图书 医疗卫生机构数_医院和卫生院 卫生人员数_执业(助理)医师 医疗卫生机构床位数_医院和卫生院 城镇职工基本养老保险参保人数 职工基本医疗保险参保人数 失业保险参保人数
java代码提交一个hive sql到yarn上查看
05-31
你可以使用Java代码提交Hive SQL到YARN上运行，以下是一个示例： ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.security....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值