![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop笔记
qq_14847537
这个作者很懒,什么都没留下…
展开
-
Hadoop2.x调度器
计算能力调度器计算能力调度器目前使用基于内存使用量(未来包括CPU资源)的一个分配单元为单位来进行资源的分配。计算能力调度器通过如下配置来实现对多租户的支持: 按照企业组来配置分配集群资源 配置资源限制,以避免某个大型应用程序独占集群资源 针对企业组的不同用户配置资源和访问控制 计算能力调度器属于分集队列的概念,有一个预定义的队列称为根队列(root)。系统中所有的队列都是跟队列的子队列,子队列还可原创 2017-08-27 10:36:34 · 831 阅读 · 0 评论 -
Hadoop实现全排序要点及基本框架
MapReduce实现全排序要点有两种方式,一种是继承 WritableComparable 接口,另一种是实现自己的比较器 Comparator。WritableComparable 接口所有的 Mappers 和 Reducers 进程中的对象都必须实现一个特定的接口:Writable 接口。另外,Reducer 端的 Key 要实现 WritableComparable 实例。Writable原创 2017-08-29 19:26:21 · 349 阅读 · 0 评论