并行计算
文章平均质量分 89
小弟季义钦
好东西要大家分享!
展开
-
Hadoop基础学习(一)分析、编写并运行WordCount词频统计程序
前面已经在我的Ubuntu单机上面搭建好了伪分布模式的HBase环境,其中包括了Hadoop的运行环境。 详见我的这篇博文:http://blog.csdn.net/jiyiqinlovexx/article/details/29208703 我的目的主要是学习HBase,下一步打算学习的是将HBase作为Hadoop作业的输入和输出。 但是好像以前在南大上学时学习的Hadoop都忘记得差不原创 2014-06-24 23:08:01 · 8531 阅读 · 1 评论 -
Hadoop MapReduce存在的问题及下一代MapReduce(MRv2/YARN)
背景 随着集群规模和负载增加,MapReduce JobTracker在内存消耗,线程模型和扩展性/可靠性/性能方面暴露出了缺点,为此需要对它进行大整修。 需求 当我们对Hadoop MapReduce框架进行改进时,需要时刻谨记的一个重要原则是用户的需求。近几年来,从Hadoop用户那里总结出MapReduce框架当前最紧迫的需求有: (1)可靠性(Rel转载 2014-06-17 23:09:54 · 1767 阅读 · 0 评论