bigdata_Yarn

一丶习题回顾，注意点

       工具类的编写和使用

       分布式计算当中的沙箱机制 sandbox

  保障数据安全的一种机制，例：在hdfs读取分布式中的文件时，config需要作为参数传入，该任务的所有操作权限均在该目录中完成。 

      MapReduce中迭代器注意不要重复使用，会造成数据错误或报错。   

       设置压缩格式，代码中，shell中

       设置reduce数量，shell中设置

       设置Partition分组条件，代码中设置或shell中设置

       MR应用之读取外部配置文件-Configuration传递

• 实现基于input_filter目录中文件数据的一次排序，即Map和Reduce的读入和归约处理。
• 将本地文件whitelist.txt传给Driver类，读取到该文件内容txtContent
• 将txtContent通过Configuration的set方法传递给map和reduce任务
• 在map任务中通过Configuration对象的get方法获取传递过来的值txtContent
• 将txtContent解析成Set对象，对map任务中的map方法进行过滤输出
• 由于map端已经做了过滤，reduce端将不需任何改变

二丶Yarn初识

      1.什么是yarn

            资源调度管理器

             JobTracker问题

       2.特点

            解耦设计

            成本降低，一个集群

            数据共享一致

           避免单点故障，横向资源扩展

Yarn架构设计

           Yarn设计的核心思想是将JobTracker的两个主要职责：资源管理和任务调度管理，分别交给两个角色负责。一个是全局的ResourceManager，一个是每个应用中唯一的ApplicationMaster。

          仍然 Master/Slave结构

运行流程

          用户交互client

          集群全局资源调度

          代理节点

           container

          详解：（8步）

调度策略

         像搜索引擎的排序

         v1调度方式：先进先出，有多少资源干多少活，

          Yarn双层调度架构：精简化的集中资源调度器

          常用调度策略，（众口难调，很难有一个完美的策略）

          1.FIFO（先进先出）

         2.capacity scheduler 容器调度器

         3.Fair scheduler 公平调度器