![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 88
amuseme_lu
Don't Grow Old, Grow Up!
展开
-
MapReduce介绍
Introduction-------------MapReduce是一个最先由Google提出的分布式计算软件构架,它可以支持大数据量的分布式处理。这个架构最初起源于函数式程式的map和reduce两个函数组成,但它们在MapReduce架构中的应用和原来的使用上的大相径庭。OverView---------MapReduce架构是用来解决大数据量的分布式计算问题,然后翻译 2009-11-09 10:57:00 · 21416 阅读 · 4 评论 -
MapReduce 和 HDFS的一些介绍
MapReduce 和 HDFS介绍--------------------------------Overview* 为什么要用Mapreduce?* 什么是Mapreduce?* Hadoop的分布式文件系统How MapReduce is Structured:* 函数式程式满足了分布式计算的要求* 大批量的数据处理系统* 在应用逻辑层面上把很多翻译 2010-05-22 13:07:00 · 4058 阅读 · 2 评论 -
MapReduce程式如何调用第三方和本地库
MapReduce程式调用第三方包和本地库-------------------------问题:在MP程式中如何在不同的TaskTracker节点上调用第三方jar包和读取一些只读的文件。解决方法介绍:我们知道,在Hadoop中有一个叫做Distri原创 2011-08-21 14:25:21 · 5795 阅读 · 2 评论 -
Hadoop 之 Secondary Sort介绍
Hadoop 之 Secondary Sort介绍---------------------------我们知道,在reduce之前,MP框架会对收到的对按K进行排序,而对于一个特定的K来说,它的List是没有被排过序的,就是说这些V是无序的,因为它们来自不同的Map端,而且很多应用也不依赖于K所对应的list的顺序,但是有一些应用就要就要依赖于相同K的V的顺序,而且还要把他们聚合在一起,原创 2011-11-10 14:41:09 · 12247 阅读 · 1 评论