![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
yarn
文章平均质量分 93
lsr40
菜鸡一个,还请见谅
展开
-
【yarn】Yarn Capacity Scheduler配置(文末附上fair的链接)
本文是一篇设置CapacityScheduler的队列的Demo以前一直没有考虑过这个事情,作为一个数据开发,我只是拿到了我使用的队列,但是一直没有思考过,应该如何划分队列,所以接下来我会记录下CapacityScheduler和FairScheduler的Demo(FifoScheduler我就不说了,好像基本没什么公司用吧),当然这篇文章只记录CapacityScheduleryarn的队列有三种模式分别是先入先出,容量调度,公平调度,分别对应以下三个类,大家有兴趣可以阅读下源码or原创 2021-01-13 21:53:12 · 1235 阅读 · 0 评论 -
关于spark的yarn模式的测试
额。。。本人菜鸡一只,强行记录点东西,分享一下,也怕自己脑子不好使,忘记了~如果有说错的,还请大家指出批评!!前言:spark的运行模式有很多,通过--master这样的参数来设置的,现在spark已经有2.3.0的版本了,运行模式有mesos,yarn,local,更好的是他可以和多种框架做整合,2.3的版本也新增了Kubernetes。。。言归正传,讲下我所做的测试:测试的代码如下(用的是sp...原创 2018-03-07 14:40:01 · 4662 阅读 · 0 评论 -
Hadoop Yarn Linux Container Executor配置
本文的内容是东拼西凑出来的,写给自己看的,还有调试的时候的一些报错的解决方式,本人菜鸡一只,如果有说错的地方,还望批评指出!概述:Yarn支持两种不同容器实现方式,一种是yarn容器,一种是Linux容器,据说还有一种Docker容器(但是Docker其实带不太动CM,不过apache还是没问题的),Linux容器较比Yarn容器具有更好的扩展性和隔离性。本文将讲述Linux容器的配置。偶然有机会...原创 2018-03-15 13:13:01 · 8951 阅读 · 6 评论