- 博客(7)
- 资源 (4)
- 收藏
- 关注
原创 排序算法
在笔试、面试过程中,经常会考排序算法,下面我将介绍几种常用的排序算法。快速排序 随机选择一个数,将数组分为比该数小和比该数大的两个部分,然后分别对两个区域进行排序。函数Partition除了可以用在快速排序算法中,还可以用来实现在长度为n的数组中查找第k大的数字、最大的k个数、最小的k个数 参考:快速排序及其优化#include "stdafx.h"
2014-03-28 22:34:38 1074
原创 Hadoop资源调度器
YARN上提供三套调度器:Capacity Scheduler、Fair Scheduler、FIFO Scheduler。本文将对这几种调度器进行描述。 FIFO Scheduler:单队列单用户调度器。 Capacity Scheduler和Fair Scheduler具有很多相似的地方:1)多队列多用户调度器;2)每个队列可配置子队列;3)可以为每一个队列
2014-03-28 08:57:48 1140
原创 Hadoop面试
Hadoop是使用非常广泛的一种云计算平台,研究生阶段的研究方向就是Hadoop资源调度,我即将去面试Hadoop研发工程师,下面是我准备的一些面试资料。
2014-03-23 21:58:12 1424
原创 Hadoop2 上HDFS HA 搭建过程
HADOOP2的HDFS上引入HA(High Available)机制以解决单点故障,引入Fedaration机制以解决HDFS拓展性问题。博客将介绍HA机制的原理,以及HDFS HA配置过程。 HA中有两个NameNode:Active NameNode、Standby NameNode。其中Active NN当做主节点,而Standby NN当做备份的主节点,当Active NN崩掉时,可以将Standby NN切换为主节点。而Active NN和Standby NN之间的元数据信息通过第三方服
2014-03-22 10:48:23 3270
原创 YARN上调度器开发
和Hadoop1一样,YARN也支持可插入式的调度方式。本文将介绍如何在源码的基础上修改调度策略,并将其应用至Hadoop2上,以修改CapacityScheduler为例,原理和过程如下。
2014-03-12 20:04:55 2228
原创 加速MapReduce2
和MR1相比,MR2出现了性能降低。博客将介绍Cloudera的工程师对MR2进行改进的方法。通过这些改进,MR2的性能和MR1一样,甚至更好。
2014-03-04 11:42:23 2585
QT局域网聊天工具
2013-06-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人