- 博客(5)
- 收藏
- 关注
RSS订阅原创 京东发布Presto-0.107-JD版本
刚刚，京东发布Presto-0.107-JD版本Presto-0.107-Jd releaseGeneral Changes支持Join条件中隐式转换(已合到presto的master版本中)添加 system session 参数query_max_memory,动态设置query.max-memory参数值(已合到presto的master版本中)可定制参与SINGLE stage的...
2015-06-25 18:01:20
1671
原创 Hadoop 2.2 YARN分布式集群搭建配置流程
搭建环境准备：JDK1.6，SSH免密码通信系统：CentOS 6.3集群配置：NameNode和ResourceManager在一台服务器上，三个数据节点搭建用户：YARNHadoop2.2下载地址：http://www.apache.org/dyn/closer.cgi/hadoop/common/步骤一：上传Hadoop 2.2 并解压到/export
2013-11-27 17:37:10
3910
2
原创 Hadoop学习之--Capaycity Scheduler配置参数说明
以下列举出来的是capacity关于queue和user资源使用量相关的参数说明：mapred.capacity-scheduler.queue.xxx.capacity： 队列的资源容量百分比，所有队列的容量之和应小于100mapred.capacity-scheduler.queue.xxx.maximum-capacity： 队列资源的使用上限百分比，最高限
2013-10-25 16:21:47
692
原创 Hadoop学习之--Capaycity Scheduler源码分析
Capacity Scheduler调度策略当一个新的job是否允许添加到队列中进行初始化，判断当前队列和用户是否已经达到了初始化数目的上限，下面就从代码层面详细介绍整个的判断逻辑。Capaycity添加一个job，会通过注册的监听器org.apache.hadoop.mapred.JobQueuesManager向队列中添加JOB，添加JOB过程中会检查当前队列和用户是否已经达到资源上限了。
2013-10-22 09:58:01
743
原创 Hadoop学习之--Fair Scheduler作业调度分析
Fair Scheduler调度器同步心跳分配任务的过程简单来讲会经历以下环节： 1、 对map/reduce是否已经达到资源上限的循环判断 2、 对pool队列根据Fair算法排序 3、然后循环pool队列，在pool中的job队列根据Fair算法排序，循环job，选择task 4、如果选择到一个task，跳出pool的循环，然后重新对pool排序，重复步
2013-10-22 09:56:54
829
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人