lsr40的博客

本文是一篇设置CapacityScheduler的队列的Demo以前一直没有考虑过这个事情，作为一个数据开发，我只是拿到了我使用的队列，但是一直没有思考过，应该如何划分队列，所以接下来我会记录下CapacityScheduler和FairScheduler的Demo（FifoScheduler我就不说了，好像基本没什么公司用吧），当然这篇文章只记录CapacityScheduleryarn的队列有三种模式分别是先入先出，容量调度，公平调度，分别对应以下三个类，大家有兴趣可以阅读下源码or

额。。。本人菜鸡一只，强行记录点东西，分享一下，也怕自己脑子不好使，忘记了~如果有说错的，还请大家指出批评！！前言：spark的运行模式有很多，通过--master这样的参数来设置的，现在spark已经有2.3.0的版本了，运行模式有mesos，yarn，local，更好的是他可以和多种框架做整合，2.3的版本也新增了Kubernetes。。。言归正传，讲下我所做的测试：测试的代码如下（用的是sp...

本文的内容是东拼西凑出来的，写给自己看的，还有调试的时候的一些报错的解决方式，本人菜鸡一只，如果有说错的地方，还望批评指出！概述：Yarn支持两种不同容器实现方式，一种是yarn容器，一种是Linux容器，据说还有一种Docker容器（但是Docker其实带不太动CM，不过apache还是没问题的），Linux容器较比Yarn容器具有更好的扩展性和隔离性。本文将讲述Linux容器的配置。偶然有机会...