一丶习题回顾,注意点
工具类的编写和使用
分布式计算当中的沙箱机制 sandbox
保障数据安全的一种机制,例:在hdfs读取分布式中的文件时,config需要作为参数传入,该任务的所有操作权限均在该目录中完成。
MapReduce中迭代器注意不要重复使用,会造成数据错误或报错。
设置压缩格式,代码中,shell中
设置reduce数量,shell中设置
设置Partition分组条件,代码中设置或shell中设置
MR应用之读取外部配置文件-Configuration传递
- 实现基于input_filter目录中文件数据的一次排序,即Map和Reduce的读入和归约处理。
- 将本地文件whitelist.txt传给Driver类,读取到该文件内容txtContent
- 将txtContent通过Configuration的set方法传递给map和reduce任务
- 在map任务中通过Configuration对象的get方法获取传递过来的值txtContent
- 将txtContent解析成Set对象,对map任务中的map方法进行过滤输出
- 由于map端已经做了过滤,reduce端将不需任何改变
二丶Yarn初识
1.什么是yarn
资源调度管理器
JobTracker问题
2.特点
解耦设计
成本降低,一个集群
数据共享一致
避免单点故障,横向资源扩展
Yarn架构设计
Yarn设计的核心思想是将JobTracker的两个主要职责:资源管理和任务调度管理,分别交给两个角色负责。一个是全局的ResourceManager,一个是每个应用中唯一的ApplicationMaster。
仍然 Master/Slave结构
运行流程
用户交互client
集群全局资源调度
代理节点
container
详解:(8步)
调度策略
像搜索引擎的排序
v1调度方式:先进先出,有多少资源干多少活,
Yarn双层调度架构:精简化的集中资源调度器
常用调度策略,(众口难调,很难有一个完美的策略)
1.FIFO(先进先出)
2.capacity scheduler 容器调度器
3.Fair scheduler 公平调度器