自己写的java程序如何放在YARN环境下运行

最新推荐文章于 2024-03-30 20:42:03 发布
最新推荐文章于 2024-03-30 20:42:03 发布
阅读量1.7k 收藏
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29467751/article/details/47403103
版权
本文介绍了如何将自己编写的Java程序打包为jar文件，并在YARN环境下执行。首先，将jar包放在hadoop安装目录下，然后使用hadoop命令提交任务，监控日志观察运行状态，最后查看运行结果。
摘要由CSDN通过智能技术生成
1.打包自己的java程序jar包，放在hadoop安装目录下share/test/MyJob.jar
2.执行hadoop命令如下：
[hadoop@Hadoop-Master hadoop]$ bin/hadoop jar share/test/MyJob.jar org.apache.hadoop.examples.WordCount /wanghongen/demo/filein/wordcount_in2.txt /wanghongen/demo/fileout/wordcount_out8

3.查看运动行日志
最低0.47元/天 解锁文章
qq_29467751
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
YARN和HDFS的调用方式汇总
ASIN的专栏
11-13 3447
MapReduce和HDFS的运行方式汇总总结涉及到运行MapReduce和HDFS的几种方式，包括使用命令行，oozie，API等．操作MapReduce命令行方式hadoop jar wordcount.jar hdfs_input hdfs_output 使用YARN REST APIS通过YARN(MapReduceV2)提供的api，用户可以自定义提交作业，查看作业状态等，参见Hadoop
yarn-starter:编写分布式容错YARN应用程序的入门示例
05-18
虽然仍处于孵化阶段，但该项目看起来确实很有希望，并允许编写（更易于测试） 应用程序并在YARN上运行它们。 该项目的目标是减少编写容错YARN应用程序的入门门槛，主要是利用Twill（在撰写本文时）。 在， 和阅读...
运行在Yarn上的Java Demo 程序
u010374412的博客
07-20 778
RunAPPOnYarn gitee地址 github地址 本项目的是 写一个可以运行在 Hadoop Yarn 的 APP ; 须知：在 编写 APPMaster 程序的时候 参考了 Hadoop YARN权威指南 的书籍和代码；参考代码地址 Start APP APP 是 主运行程序 ，如果网络条件和配置文件（需要配置文件放在 resources 目录下）允许的情况下可以在本地调试。 APP 程序主要是 获取到 yarnClient ，通过 yarnClient 再获取到 NewApplicatio
yarn java_自己写的java程序如何放在YARN环境下运运
weixin_39898248的博客
02-21 222
[hadoop@Hadoop-Master hadoop]$ bin/hadoop jarshare/test/MyJob.jar org.apache.hadoop.examples.WordCount/wanghongen/demo/filein/wordcount_in2.txt/wanghongen/demo/fileout/wordcount_out815/07/10 18:13:30 ...
JAVA开发Yarn应用
csdn问鼎
05-03 2919
文章目录思考流程图实际代码 思考 我们知道在大数据领域，yarn作为资源调度框架，可以运行MR,SPARK,Flink，那它是不是 也可以运行其它任务，YARN作为资源调度框架和任务的具体的类型没有关系，只管任务的执行，那只要用API，是不是也可以自己尝试往Yarn上提交任务 流程图 client向resourcemanager，申请一个应用 client得到一个container，启动ap...
记录spark-yarn模式下提交自己写的java程序
weixin_48445640的博客
07-28 182
因为公司要完成统计任务，每天都有一些任务要在spark上跑，任务定时调度使用的是azkaban3版本，在提交代码的时候要注意一些问题： 首先是如下代码后面不要加setMaster，否则会报错： 二是如果实行了多线程程序，那么一定要在main线程里面等待全部完成再执行，否则你开启的线程开完你的main线程直接就结束了，我这里使用的是coutdownLatch的方法来保证所有线程任务完成再结束main线程，虽然在java的idea里面执行你不需要写写相关方法，但是提交给spark-yarn必须得考虑。 ..
大数据平台构建：YARN中运行Mapreduce程序.pptx
06-21
【大数据平台构建：YARN中运行Mapreduce程序】 在大数据处理领域，Apache Hadoop的YARN（Yet Another Resource Negotiator）是一种重要的资源管理和调度系统，它使得不同的计算框架如MapReduce能够高效地运行在...
InformationInteraction:信息交互MapReduce库-HBase + YARN（实施环境）
05-30
在YARN环境中，MapReduce作业会作为应用程序管理器（Application Master，AM）运行，与YARN的资源调度器（Resource Scheduler）交互，申请和释放资源。AM负责监控任务进度，如果某个任务失败，它可以请求重新执行。...
java提交spark任务到yarn平台的配置讲解共9页
10-30
在Spark生态系统中，Java作为广泛使用的编程语言，可以用来编写Spark应用程序，并通过YARN（Hadoop Yet Another Resource Negotiator）资源管理器进行分布式执行。本文将深入探讨如何配置Java项目，以便成功地将...
深入探究如何使用Java编写MapReduce程序.rar
07-10
在开始编写Java MapReduce程序前，需要安装和配置Hadoop环境。这包括安装Hadoop分布式文件系统（HDFS）和YARN资源管理器，以及配置Hadoop的环境变量。 三、Java MapReduce程序结构 1. **Mapper类**：这是实现Map...
让 WebServer 运行在 Hadoop Yarn上, 实现动态部署, 实现Web 运行环境的动态管理
11-23
Jetty-On-Yarn 目的是让 WebServer 运行在 Hadoop Yarn上, 实现动态部署, 一个命令即可批量实现批量部署或者批量关闭部署, 实现Web 运行环境的动态管理.
Java api 提交Flink程序到yarn 上怎么做？
百看不如一RUN
05-14 5263
1、Flink Application Mode Application Mode将在YARN上启动一个Flink集群，其中Application jar的main（）方法将在YARN中的JobManager上执行。应用程序完成后，群集将立即关闭。您可以使用yarn application-kill或取消Flink作业来手动停止集群。 由于所需的Flink jar和应用程序jar将由指定的远程位置接收，而不是由客户机发送到集群，因此上面的内容将允许作业提交变得格外轻量级。这样的话，我们就可以通过java 来
springboot项目在spark yarn 集群上部署运行
manbufenglin的专栏
05-20 2605
需求： 项目采用springboot开发，用于实现历史数据的统计分析及算法计算，通过spark-yarn运行跑出结果。 环境： JDK：1.8 操作系统：centos 7.6 大数据架构：Hadoop -Yarn-HA；spark 、hive 集群模型 项目预期效果： ./spark-submit --master yarn-client --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_..
Java应用程序生成JAR包，部署到Hadoop平台上运行
迪宝宝的博客
01-07 1310
应用程序的部署 首先，在Hadoop安装目录下新建一个名称为myapp的目录，用来存放我们自己编写的Hadoop应用程序，可以在Linux的终端中执行如下命令： [zhd@zhd local]$ mkdir myapp 直接点击finish,成功后点击OK 查看是否生成 [zhd@zhd local]$ cd myapp [zhd@zhd myapp]$ ls HDFSExample.ja...
Java集成Yarn并操作集群的Yarn资源
qq_37928228的博客
06-05 1084
Java集成Yarn并操作集群的Yarn资源
Java大数据平台开发 学习笔记（67） —— YARN 原理
qq_42209354的博客
01-14 278
一、概述 YARN(Yet Another Resource Negotiator，至今另一个资源调度器)是Hadoop2.0提供的一套用于进行任务调度和资源管理的机制 YARN是Hadoop2.0中提供的最重要的特性之一。也是因为YARN的出现，导致Hadoop1.0和Hadoop2.0不兼容 原因 a 内部 ① 在Hadoop1.0中，没有YARN，MapReduce分为主节点JobTracker以及从节点TaskTracker。但是在Hadoop1.0中，作为主节点的JobTracker只允许出现
yarn工作原理，Java篇
最新发布
2401_83627805的博客
03-30 813
（1）Client向ResourceManager提交作业（可以是Spark/Mapreduce作业）（2）ResourceManager会为这个作业分配一个container（3）ResourceManager与NodeManager通信，要求NodeManger在刚刚分配好的container上启动应用程序的Application Master（4）Application Master先去向ResourceManager注册，而后ResourceManager会为各个任务申请资源，并监控运行情况。
yarn java_Yarn资源管理器简单介绍
weixin_42466857的博客
02-21 259
Yarn有以下几个组件组成：Container是Yarn对计算机计算资源的抽象，它其实就是一组CPU和内存资源，所有的应用都会运行在Container中ApplicationMaster是运行在Yarn中某个应用的抽象，它其实就是某个类型应用的实例，ApplicationMaster是应用级别的，它的主要功能就是像ResourceManager申请计算资源，并且和NodeManager交互来执行和...
如何在yarn上运行Hello World(一)
aikyyu26486的博客
11-10 552
1.YARN是什么 YARN (Yet Another Resource Negotiator，另一种资源协调者) 是hadoop上的一种资源调度器,它是一个通用资源管理系统,可以为上层应用提供统一的资源管理和调度. 2.yarn的结构 YARN的结构是一个典型的主从结构(MASTER/SLAVER) 其中的ResourceManage...
基于spark用java写一个word count的程序，打成jar包，使用spark-submit命令以提交到yarn程序运行
05-31
好的，以下是基于Spark用Java写一个Word Count的程序，并打成Jar包的步骤： 1. 确保已经安装好了Java和Spark，并且环境变量已经配置好了。 2. 创建一个Java Maven项目，添加以下依赖到pom.xml文件中： ```xml ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值