hadoop提供了一个跑在yarn上的示例，可以运行

最新推荐文章于 2022-12-30 13:40:54 发布
最新推荐文章于 2022-12-30 13:40:54 发布
阅读量1k 收藏
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29467751/article/details/47403129
版权
执行命令

bin/hadoop jar share/hadoop/yarn/hadoop-yarn-applications-distributedshell-2.5.2.jar org.apache.hadoop.yarn.applications.distributedshell.Client --jar share/hadoop/yarn/hadoop-yarn-applications-distributedshell-2.5.2.jar --shell_command ls --num_containers 10 --container_memory 350 --master_memory 350 --priority 10



执行日志-----日志

15/07/21 18:13:23 INFO distributedshell.Client: Initializing Client
15/07/21 18:13:23 INFO distributedshell.Client: Running Client
15/07/21 18:13:24 INFO client.RMProxy: Connecting to ResourceManager at Hadoop-Master/192.168.70.65:8032
15/07/21 18:13:24 INFO distributedshell.Client: Got Cluster metric info from ASM, numNodeManagers=3
15/07/21 18:13:24 INFO distributedshell.Client: Got Cluster node info from ASM
15/07/21 18:13:24 INFO distributedshell.Client: Got node report from ASM for, nodeId=Hadoop-Node2:38911, nodeAddressHadoop-Node2:8042, nodeRackName/default-rack, nodeNumContainers0
15/07/21 18:13:24 INFO distributedshell.Client: Got node report from ASM for, nodeId=Hadoop-Node1:45191, nodeAddressHadoop-Node1:8042, nodeRackName/default-rack, nodeNumContainers0
15/07/21 18:13:24 INFO distributedshell.Client: Got node report from ASM for, nodeId=Hadoop-Node0:44608, nodeAddressHadoop-Node0:8042, nodeRackName/default-rack, nodeNumContainers0
15/07/21 18:13:24 INFO distributedshell.Client: Queue info, queueName=default, queueCurrentCapacity=0.0, queueMaxCapacity=1.0, queueApplicationCount=0, queueChildQueueCount=0
15/07/21 18:13:24 INFO distributedshell.Client: User ACL Info for Queue, queueName=root, userAcl=SUBMIT_APPLICATIONS
15/07/21 18:13:24 INFO distributedshell.Client: User ACL Info for Queue, queueName=root, userAcl=ADMINISTER_QUEUE
15/07/21 18:13:24 INFO distributedshell.Client: User ACL Info for Queue, queueName=default, userAcl=SUBMIT_APPLICATIONS
15/07/21 18:13:24 INFO distributedshell.Client: User ACL Info for Queue, queueName=default, userAcl=ADMINISTER_QUEUE
15/07/21 18:13:24 INFO distributedshell.Client: Max mem capabililty of resources in this cluster 8192
15/07/21 18:13:24 INFO distributedshell.Client: Max virtual cores capabililty of resources in this cluster 32
15/07/21 18:13:24 INFO distributedshell.Client: Copy App Master jar from local filesystem and add to local environment
15/07/21 18:13:25 INFO distributedshell.Client: Set the environment for the application master
15/07/21 18:13:25 INFO distributedshell.Client: Setting up app master command
15/07/21 18:13:25 INFO distributedshell.Client: Completed setting up app master command {{JAVA_HOME}}/bin/java -Xmx350m org.apache.hadoop.yarn.applications.distributedshell.ApplicationMaster --container_memory 350 --container_vcores 1 --num_containers 10 --priority 0 1>/AppMaster.stdout 2>/AppMaster.stderr 
15/07/21 18:13:25 INFO distributedshell.Client: Submitting application to ASM
15/07/21 18:13:25 INFO impl.YarnClientImpl: Submitted application application_1430970937754_0008
15/07/21 18:13:26 INFO distributedshell.Client: Got application report from ASM for, appId=8, clientToAMToken=null, appDiagnostics=, appMasterHost=N/A, appQueue=default, appMasterRpcPort=-1, appStartTime=1437473605691, yarnAppState=ACCEPTED, distributedFinalState=UNDEFINED, appTrackingUrl=http://Hadoop-Master:8088/proxy/application_1430970937754_0008/, appUser=hadoop
15/07/21 18:13:27 INFO distributedshell.Client: Got application report from ASM for, appId=8, clientToAMToken=null, appDiagnostics=, appMasterHost=N/A, appQueue=default, appMasterRpcPort=-1, appStartTime=1437473605691, yarnAppState=ACCEPTED, distributedFinalState=UNDEFINED, appTrackingUrl=http://Hadoop-Master:8088/proxy/application_1430970937754_0008/, appUser=hadoop
15/07/21 18:13:28 INFO distributedshell.Client: Got application report from ASM for, appId=8, clientToAMToken=null, appDiagnostics=, appMasterHost=Hadoop-Node1/192.168.70.61, appQueue=default, appMasterRpcPort=-1, appStartTime=1437473605691, yarnAppState=RUNNING, distributedFinalState=UNDEFINED, appTrackingUrl=http://Hadoop-Master:8088/proxy/application_1430970937754_0008/A, appUser=hadoop
15/07/21 18:13:29 INFO distributedshell.Client: Got application report from ASM for, appId=8, clientToAMToken=null, appDiagnostics=, appMasterHost=Hadoop-Node1/192.168.70.61, appQueue=default, appMasterRpcPort=-1, appStartTime=1437473605691, yarnAppState=RUNNING, distributedFinalState=UNDEFINED, appTrackingUrl=http://Hadoop-Master:8088/proxy/application_1430970937754_0008/A, appUser=hadoop
15/07/21 18:13:30 INFO distributedshell.Client: Got application report from ASM for, appId=8, clientToAMToken=null, appDiagnostics=, appMasterHost=Hadoop-Node1/192.168.70.61, appQueue=default, appMasterRpcPort=-1, appStartTime=1437473605691, yarnAppState=RUNNING, distributedFinalState=UNDEFINED, appTrackingUrl=http://Hadoop-Master:8088/proxy/application_1430970937754_0008/A, appUser=hadoop
15/07/21 18:13:31 INFO distributedshell.Client: Got application report from ASM for, appId=8, clientToAMToken=null, appDiagnostics=, appMasterHost=Hadoop-Node1/192.168.70.61, appQueue=default, appMasterRpcPort=-1, appStartTime=1437473605691, yarnAppState=RUNNING, distributedFinalState=UNDEFINED, appTrackingUrl=http://Hadoop-Master:8088/proxy/application_1430970937754_0008/A, appUser=hadoop
15/07/21 18:13:32 INFO distributedshell.Client: Got application report from ASM for, appId=8, clientToAMToken=null, appDiagnostics=, appMasterHost=Hadoop-Node1/192.168.70.61, appQueue=default, appMasterRpcPort=-1, appStartTime=1437473605691, yarnAppState=RUNNING, distributedFinalState=UNDEFINED, appTrackingUrl=http://Hadoop-Master:8088/proxy/application_1430970937754_0008/A, appUser=hadoop
15/07/21 18:13:33 INFO distributedshell.Client: Got application report from ASM for, appId=8, clientToAMToken=null, appDiagnostics=, appMasterHost=Hadoop-Node1/192.168.70.61, appQueue=default, appMasterRpcPort=-1, appStartTime=1437473605691, yarnAppState=RUNNING, distributedFinalState=UNDEFINED, appTrackingUrl=http://Hadoop-Master:8088/proxy/application_1430970937754_0008/A, appUser=hadoop
15/07/21 18:13:34 INFO distributedshell.Client: Got application report from ASM for, appId=8, clientToAMToken=null, appDiagnostics=, appMasterHost=Hadoop-Node1/192.168.70.61, appQueue=default, appMasterRpcPort=-1, appStartTime=1437473605691, yarnAppState=FINISHED, distributedFinalState=SUCCEEDED, appTrackingUrl=http://Hadoop-Master:8088/proxy/application_1430970937754_0008/A, appUser=hadoop
15/07/21 18:13:34 INFO distributedshell.Client: Application has completed successfully. Breaking monitoring loop
15/07/21 18:13:34 INFO distributedshell.Client: Application completed successfully
qq_29467751
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop-Yarn的框架原理（二）
prefect_start的博客
12-16 726
1、Yarn生产环境核心参数 2、Yarn生产环境核心参数配置案例 需求：从1G数据中，统计每个单词出现次数。服务器3台，每台配置4G内存，4核CPU，4线程。 <!-- 选择调度器，默认容量 --> <property> <description>The class to use as the resource scheduler.</description> <name>yarn.resourcemanager.scheduler.cla
yarn案例
勇心在馨
08-05 160
一、Yarn 生产环境核心参数配置案例 1、需求：从 1G 数据中，统计每个单词出现次数。服务器 3 台，每台配置 4G 内存，4 核 CPU，4 线程。 （1）需求分析 1G / 128m = 8 个 MapTask；1 个 ReduceTask；1 个 mrAppMaster 平均每个节点运行 10 个 / 3 台 ≈ 3 个任务（4 3 3） （2）修改 yarn-site.xml 配置参数如下 <!-- 选择调度器，默认容量 --> <property> ...
YARN和yarn中运行运算程序的示例
TBSOD的博客
03-14 523
YARN是一个资源调度平台，负责为运算程序提供服务器运算资源。相当于一个分布式的操作系统，而mapReduce相当于一个运行在其上的应用程序。YARN的重要概念：    1、不知到程序运行的内部机制    2、只提供资源调度（应用程序向其请求资源，分配资源）    3、管理角色，resourcemanager，负责程序资源的调度，监控程序。    4、nodemanager为应用程序分配资源   ...
hadoop中Yarn的配置与使用示例
01-15 1065
https://mp.weixin.qq.com/s?__biz=MzA3NDc3ODg1MQ==&mid=2653658300&idx=2&sn=eef46f1bb01e1afc8924eb8d5bee29a0&chksm=84a5ad30b3d22426d7148760687cee73047a8a80ec285ae1bb243e15cb2bbc66996f40c...
用yarn run serve运行vue项目时，一直出现\node_modules\@babel\compat-data\data\corejs3-shipped-proposals‘
青春木鱼的博客
12-30 1988
用yarn run serve运行vue项目时，一直出\node_modules\@babel\compat-data\data\corejs3-shipped-proposals'
HadoopHA集群部署、YARNHA测试Job教学课件.pptx
06-20
在大数据处理领域，Hadoop 是一个至关重要的分布式计算框架，它提供了高可用性（HA）的特性来确保服务的连续性和稳定性。Hadoop HA 主要指的是 HDFS（Hadoop Distributed File System）和 YARN（Yet Another ...
hadoop在windows上运行需要winutils支持和hadoop.dll等文件
03-25
6. **测试Hadoop**：使用`hadoop fs -ls /`命令检查HDFS是否可用，或者运行一个简单的MapReduce示例，如WordCount，来测试Hadoop集群的计算功能。 在实际操作中，可能会遇到一些常见的问题，如端口冲突、权限问题...
skein：一种工具和库，可轻松在Apache YARN上部署应用程序
02-04
总之，Skein是一个强大的工具，它极大地简化了在Apache YARN上部署和管理应用程序的过程，尤其对于Python开发者来说，它提供了一个直观的接口，使得他们可以更专注于编写业务逻辑，而不是底层的集群管理细节。...
guagua:Hadoop MapReduce和Hadoop YARN的迭代计算框架
05-25
Shifu的子项目Guagua是一个基于Hadoop MapReduce和YARN的分布式，可插拔和可扩展的迭代计算框架。 该图显示了瓜瓜岛的迭代计算过程。 典型使用案例瓜瓜分布机器学习基于Hadoop模型训练。 通过使用Guagua ，我们实现...
hadoop:Hadoop 示例
05-29
在IT行业中，Hadoop是一个广泛使用的开源框架，主要用于大数据处理和分析。这个标题"hadop:Hadoop 示例"表明我们将探讨Hadoop的一些实际应用和示例，而“Java”标签则暗示了Hadoop主要用Java语言编写，同时也支持...
董西成：Hadoop YARN程序设计与应用案例
01-30
Hadoop 10周年生日之际，CSDN主办的“Hadoop英雄会——暨Hadoop 10周年生日大趴”，Hulu高级研发工程师董西成介绍了Hadoop YARN程序设计与应用案例。
汇总运行在Hadoop YARN上的开源系统
GarfieldEr007的专栏
03-25 1551
本文汇总了目前正在进行中的一些尝试将系统运行在YARN上的项目（很多项目狠不完善，有兴趣的可以参与进去，这是机会。），这些项目涉及分布式领域各个方面的系统，包括离线处理、在线计算、图算法、迭代式算法等，从这些项目可以看出来，在将来，YARN将变成一个轻量级的IAAS层，统一管理和调度各种系统，进而逐步实现所谓的“大集群理念”。 1. MapReduce On YARN：YARN天生支持，目
yarn的常用命令
天高任鸟飞
07-27 496
yarn安装 npm i yarn -g 查看版本 Yarn -v 1. 开始一个新工程 yarn init 与 npm init 一样通过交互式会话创建一个 package.json yarn init # yarn npm init # npm # 跳过会话，直接通过默认值生成 package.json yarn init --yes # 简写 -y npm init -y 2. 添加一个依赖 通过yarn add 添加依赖会更新 package.json 以及 yarn.lo.
通过编写一个YARN Application 来了解Hadoop YARN
trumanz的博客
06-24 4993
YARN是Hadoop中的一个cluster资源管理系统。 MapReduce 就是泡在YARN 之上的，其关系如下图， MapReduce 通过YARN 在cluster内申请内存和cpu资源，YARN执行MapReduce Task.   最近学习了YARN， 从部署的角度YARN支持三种调度器:FIFO, Capacity 和 Fair。 从开发应用程序的角度，实现一个YA
Hadoop3.2.0 编写YARN应用程序
张伯毅的专栏
02-21 3558
目的 概念和流程 接口 编写一个简单的YARN应用程序 写一个简单的客户端 编写ApplicationMaster（AM） 常问问题 如何将应用程序的jar分发给需要它的YARN集群中的所有节点？ 我如何获得ApplicationMaster的ApplicationAttemptId？ 为什么我的容器被NodeManager杀死了？ 如何包含本机库？ 有用的链...
配置hadoop组件yarn及案例测试
weixin_38729343的博客
07-07 636
一、vi命令模式编辑配置mapred-site.xml参数 配置etc/hadoop/yarn-site.xml参数 [hadoop@hadoop001 etc]$ cd hadoop [hadoop@hadoop001 hadoop]$ ll # -rw-r--r--. 1 hadoop hadoop 758 Mar 24 2016 mapred-site.xml.template [ha...
hadoop 0.23 YARN分布式程序的编写 （Hadoop MapReduce Next Generation - Writing YARN Applications）
bertzhang的专栏
12-26 4000
原文：http://hadoop.apache.org/common/docs/r0.23.0/hadoop-yarn/hadoop-yarn-site/WritingYarnApplications.html 目的     这个文档从比较高的层面上描述了如何编写一个YARN应用 概念和流程     首先说的概念是“Application Submission Client”他负责将“Ap
Hadoop Yarn 安装
zlcd1988的专栏
06-30 4699
为了构建基于Yarn体系的Spark集群，先要安装Hadoop集群，为了以后查阅方便记录了我本次安装的具体步骤。
Hadoop Yarn详解
weixin_34037977的博客
10-29 1660
一、Yarn简介 Yarn是Hadoop集群的资源管理系统。Hadoop2.0对MapReduce框架做了彻底的设计重构，我们称Hadoop2.0中的MapReduce为MRv2或者Yarn。在介绍Yarn之前，我们先回头看一下Hadoop1.x对MapReduce job的调度管理方式（可参考：Hadoop核心之MapReduce架...
java代码提交一个hive sql到yarn上查看
最新发布
05-31
你可以使用Java代码提交Hive SQL到YARN上运行，以下是一个示例： ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.security.UserGroupInformation; import org.apache.hadoop.yarn.api.records.ApplicationId; import org.apache.hadoop.yarn.api.records.LocalResource; import org.apache.hadoop.yarn.api.records.LocalResourceType; import org.apache.hadoop.yarn.api.records.LocalResourceVisibility; import org.apache.hadoop.yarn.client.api.YarnClient; import org.apache.hadoop.yarn.client.api.YarnClientApplication; import org.apache.hadoop.yarn.conf.YarnConfiguration; import org.apache.hadoop.yarn.util.Apps; import org.apache.hadoop.yarn.util.ConverterUtils; import java.io.File; import java.io.FileInputStream; import java.io.IOException; import java.util.Collections; import java.util.HashMap; import java.util.Map; public class SubmitHiveSqlToYarn { public static void main(String[] args) throws Exception { // 初始化YARN配置 Configuration conf = new YarnConfiguration(); // 创建YARN客户端 YarnClient yarnClient = YarnClient.createYarnClient(); yarnClient.init(conf); yarnClient.start(); // 创建YARN应用 YarnClientApplication app = yarnClient.createApplication(); // 设置应用名称 String appName = "Hive SQL on YARN"; app.setApplicationName(appName); // 创建容器启动命令 String command = "hive -e \"SELECT * FROM my_table\""; // 设置本地资源 Map<String, LocalResource> localResources = new HashMap<>(); File scriptFile = new File("path/to/hive_script.hql"); FileInputStream scriptFileStream = new FileInputStream(scriptFile); LocalResource scriptFileResource = createLocalResource(scriptFileStream, conf); localResources.put("hive_script.hql", scriptFileResource); // 设置容器环境变量 Map<String, String> env = new HashMap<>(); env.put("CLASSPATH", "./*"); // 设置容器资源 Map<String, String> containerResources = new HashMap<>(); containerResources.put("hive_script.hql", scriptFile.getAbsolutePath()); // 设置容器启动命令 Apps.addToEnvironment(env, "HADOOP_USER_NAME", UserGroupInformation.getCurrentUser().getShortUserName()); Apps.addToEnvironment(env, "HADOOP_HOME", System.getenv("HADOOP_HOME")); Apps.addToEnvironment(env, "HADOOP_CONF_DIR", System.getenv("HADOOP_CONF_DIR")); String command = "hive -f hive_script.hql"; containerResources.put("script", scriptFile.getAbsolutePath()); // 设置应用主类 String mainClass = "org.apache.hadoop.yarn.applications.distributedshell.ApplicationMaster"; // 设置应用主类参数 String[] mainArgs = new String[]{ "--jar", "path/to/your/jar", "--shell_command", command, "--shell_env", "CLASSPATH=./*", "--shell_env", "HADOOP_USER_NAME=" + UserGroupInformation.getCurrentUser().getShortUserName(), "--shell_env", "HADOOP_HOME=" + System.getenv("HADOOP_HOME"), "--shell_env", "HADOOP_CONF_DIR=" + System.getenv("HADOOP_CONF_DIR"), "--container_memory", "1024", "--num_containers", "1" }; // 提交应用 ApplicationId appId = app.getNewApplicationResponse().getApplicationId(); Apps.addToEnvironment(env, "APP_ID", appId.toString()); Apps.addToEnvironment(env, "SCRIPT_NAME", "hive_script.hql"); Apps.addToEnvironment(env, "CONTAINER_RESOURCES", containerResources.toString()); Apps.addToEnvironment(env, "CONTAINER_LAUNCH_COMMAND", command); Apps.addToEnvironment(env, "CONTAINER_ENV", env.toString()); Apps.addToEnvironment(env, "MAIN_CLASS", mainClass); Apps.addToEnvironment(env, "MAIN_ARGS", mainArgs.toString()); Apps.addToEnvironment(env, "LOCAL_RESOURCES", localResources.toString()); Apps.addToEnvironment(env, "APP_NAME", appName); // 创建应用主类 YarnClientApplication clientApplication = yarnClient.createApplication(); ApplicationSubmissionContext appContext = clientApplication.getApplicationSubmissionContext(); appContext.setApplicationName(appName); // 设置资源需求 ResourceRequest resourceRequest = ResourceRequest.newInstance( Priority.newInstance(0), ResourceRequest.ANY, Resource.newInstance(1024, 1), 1 ); appContext.setAMContainerResourceRequest(resourceRequest); // 设置应用主类信息 ContainerLaunchContext amContainer = ContainerLaunchContext.newInstance( localResources, env, Collections.singletonList(command), null, null, null ); appContext.setAMContainerSpec(amContainer); // 提交应用 yarnClient.submitApplication(appContext); } private static LocalResource createLocalResource(FileInputStream fileInputStream, Configuration configuration) throws IOException { // 创建本地资源 LocalResource localResource = Records.newRecord(LocalResource.class); // 设置本地资源类型 localResource.setType(LocalResourceType.FILE); // 设置本地资源可见性 localResource.setVisibility(LocalResourceVisibility.APPLICATION); // 设置本地资源大小 FileStatus fileStatus = FileSystem.get(configuration).getFileStatus(new Path("path/to/hive_script.hql")); localResource.setSize(fileStatus.getLen()); // 设置本地资源时间戳 localResource.setTimestamp(fileStatus.getModificationTime()); // 设置本地资源位置 Path path = new Path("path/to/hive_script.hql"); URL url = ConverterUtils.getYarnUrlFromURI(path.toUri()); localResource.setResource(url); return localResource; } } ``` 上述代码中，主要步骤如下： 1. 初始化YARN配置 2. 创建YARN客户端 3. 创建YARN应用 4. 设置应用名称 5. 创建容器启动命令 6. 设置本地资源 7. 设置容器环境变量 8. 设置容器资源 9. 设置容器启动命令 10. 设置应用主类 11. 设置应用主类参数 12. 提交应用 这个示例中，我们使用了`hive -f`命令来执行Hive SQL脚本，你需要将`my_table`替换为你的表名，将`path/to/hive_script.hql`替换为你的Hive SQL脚本所在的路径，将`path/to/your/jar`替换为你的Java程序的jar包路径。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值