![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
yarn
Java架构师联盟
这个作者很懒,什么都没留下…
展开
-
大数据集群管家--MapReduce运行架构, Yarn资源调度流程
前言 某天, 某研究机构设计了一款私人飞机图纸, 之后某公司根据该图纸制作出一架私人飞机. 然后某位有钱人士觉得这架飞机非常好, 就花高价钱买下这架飞机. 飞机要想起飞, 需要向空管局申请航线, 申请成功后, 这位富人又雇佣了一位飞行员. 最后飞行员开启飞机, 这位富人如愿坐上心仪的飞机并翱翔天际. 上述流程可以概括为: 设计图纸 --> 私人飞机 --> 空管局(申请航...原创 2020-05-06 21:02:24 · 231 阅读 · 0 评论 -
yarn调优以及常见问题的解决方案
发的发射点发射点发原创 2020-03-02 19:30:36 · 435 阅读 · 0 评论 -
yarn集群搭建以及任务提交---官方文档的使用
关于集群的搭建,其实就是说明书的使用问题,会用说明书,很简单,不会用说明书,只能去参考别人的智慧,针对这个情况,对于yarn的搭建,我就把官方文档的相关文档拿出来进行搭建 1、打开官方网址 hadoop.apache.org 2、选择属于自己的hadoop版本,能看懂的直接看英文,看不懂的也可以借助浏览器的翻译功能,就会有下面的这样一个页面 根据官方文档,我们知道,hadoop的设置分为单节...原创 2020-03-02 19:31:52 · 403 阅读 · 0 评论 -
hadoop--“管家”yarn初步讲解2.x
在了解了hfds的底层执行之后,也知道它存在的一些问题,mapreduce下的资源管理1.x 简单回顾一下 第一单点故障,第二内存的硬件限制,最后就是mapreduce 的计算机制造成了资源的空闲浪费。,对于以上存在的问题,虽然mapreduce是一个很好的大数据处理的计算框架,但是,为了追求最好的运行效率,当遇到特别巨大的运算等特殊情况时所可以得到的最好的处理结果,Hadoop在MapRedu...原创 2020-02-25 23:48:35 · 165 阅读 · 0 评论