![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Yarn
fengfengchen95
迷茫是因为有太多的时间去胡思乱想,唯独让自己充实,一直处于忙碌状态,就没有时间去迷茫
展开
-
yarn application命令介绍
yarn application1、-list 列出所有 application 信息 示例:yarn application -list 2、-appStates <States> 跟 -list 一起使用,用来筛选不同状态的 application,多个用","分隔; 所有状态:ALL,NEW,NEW_SAVING,SUBMITTE...原创 2018-11-06 15:35:27 · 25706 阅读 · 1 评论 -
Yarn 上提交的job对应的sql查询
一.在yarn上查看类型是mapreduce 的job对应的sql1.进入hadoop的监控页面,选择类型是MAPREDUCE的应用。 2.点击上图的application_id进入此application的项目页面信息,如下图所示: 3,点击上图的Tracking URL:对应的History查看历史运行情况,如下图 4.点击最左边的:Configurati...原创 2018-12-04 11:29:38 · 3604 阅读 · 4 评论 -
tez on yarn
Tez Tez俗称DAG计算,多个计算作业之间存在依赖关系,并形成一个依赖关系的有向图。 Tez是运行在Yarn上的DAG,动态的生成计算的关系流。 如上图左所示的Top K问题,第一个Mapreduce实现wordcount的功能,第二个Mapreduce只用使用Reduce实现排序的问题,但是在Mapreduce中必须创建两个MapReduce任务,但是...转载 2019-05-17 14:00:39 · 1011 阅读 · 0 评论 -
Yarn资源队列配置和使用
Yarn资源队列配置和使用前言试想一下,你现在所在的公司有一个hadoop的集群。但是A项目组经常做一些定时的BI报表,B项目组则经常使用一些软件做一些临时需求。那么他们肯定会遇到同时提交任务的场景,这个时候到底如何分配资源满足这两个任务呢?是先执行A的任务,再执行B的任务,还是同时跑两个?如果你存在上述的困惑,可以多了解一些yarn的资源调度器。在Yarn框架中,调度器是一...转载 2019-06-14 17:08:37 · 21608 阅读 · 0 评论