HADOOP
文章平均质量分 80
jiewuyou
爱编程不爱bug
展开
-
Why Hadoop2
Why Hadoop2? 自从Hadoop2出现之后,其迅速取代了Hadoop1的地位,并丰富了Hadoop的应用场景。如果现在有公司使用Hadoop的话,往往直接采用Hadoop2了。Hadoop2能被如此广泛的使用,肯定有其自身的优势,本文将对其进行梳理原创 2014-07-19 09:05:20 · 1346 阅读 · 0 评论 -
DistributtedShell的container在所有节点上仅执行一次
修改Distributedshell的源代码,使得用户提供的命令(由“--shell_command”参数指定)可以在所有节点上仅执行一次原创 2015-04-16 11:35:32 · 959 阅读 · 0 评论 -
Hadoop状态转移图生成
事件驱动和状态转移,在很大程度上保证了大型系统的顺利推进。状态转移有如下好处:状态转移图是可以生成的。在讨论某个功能的时候,可以直接对着图进行讨论某个状态转移图里面,通过加锁、生产者/消费者模式等方法,可以保证一个时间点只有一个状态转移,进而保证状态的正确性在进行UT(单元测试)的时候,只需要对每一条转移路径进行测试就好啦Hadoop也大量采用了这种方法,如MapReduce的状态转移,NM原创 2015-04-15 11:29:50 · 1667 阅读 · 0 评论 -
HDFS HA架构以及源码引导
本文将介绍HDFS HA架构,并进行源码引导原创 2014-06-12 18:28:16 · 3580 阅读 · 0 评论 -
Hadoop集群优化
HDFSECC memoryECC memory is strongly recommended, as several Hadoop users have reported seeing many checksum errors when using non-ECC memory on Hadoop clusters.原创 2015-04-14 09:14:00 · 1688 阅读 · 0 评论 -
Hadoop2 上HDFS HA 搭建过程
HADOOP2的HDFS上引入HA(High Available)机制以解决单点故障,引入Fedaration机制以解决HDFS拓展性问题。博客将介绍HA机制的原理,以及HDFS HA配置过程。 HA中有两个NameNode:Active NameNode、Standby NameNode。其中Active NN当做主节点,而Standby NN当做备份的主节点,当Active NN崩掉时,可以将Standby NN切换为主节点。而Active NN和Standby NN之间的元数据信息通过第三方服原创 2014-03-22 10:48:23 · 3209 阅读 · 0 评论 -
YARN上调度器开发
和Hadoop1一样,YARN也支持可插入式的调度方式。本文将介绍如何在源码的基础上修改调度策略,并将其应用至Hadoop2上,以修改CapacityScheduler为例,原理和过程如下。原创 2014-03-12 20:04:55 · 2204 阅读 · 0 评论 -
HDFS Exlorer初体验
HDFS Explorer可以如Windows文件管理器一样访问HDFS集群,使用起来非常方便。博客将介绍HDFS Explorer的设计初衷、安装过程以及首次使用体验。原创 2014-02-26 15:42:12 · 4507 阅读 · 3 评论 -
Hadoop面试
Hadoop是使用非常广泛的一种云计算平台,研究生阶段的研究方向就是Hadoop资源调度,我即将去面试Hadoop研发工程师,下面是我准备的一些面试资料。原创 2014-03-23 21:58:12 · 1391 阅读 · 0 评论 -
Hadoop2伪分布模式安装
参照Apache的官方文档,Hadoop2还是蛮好搭建的,但是搭建好后,MapReduce的JobHistory页面却没法进去,这是因为JobHistory没有配置正确或者服务没有启动起来。本文将梳理伪分布模式的搭建过程,并给出配置文档,让你不再为搭建这些过程烦恼。准备安装程序获取:从官网上下载,从Apache Download Mirrors选择一个镜像位置,然后选择一个Hadoop版本,下载h原创 2015-04-15 11:55:40 · 907 阅读 · 0 评论