Hadoop
文章平均质量分 58
樱木乐
这个作者很懒,什么都没留下…
展开
-
Hadoop系列学习–Partitioner内置分区与Partitioner自定义分区
Hadoop系列学习–Partitioner内置分区与Partitioner自定义分区MapReduce的编程灵活性很高,其中Partitioner分区函数的作用也很重要。Partitioner分区函数的作用: 根据业务的需求,灵活的根据业务输出多个日志 多个Reduce并发处理日志,提高工作运行的效率 使数据能够均匀分布在reduce上进行操作,避免产生热点区域。 ** 默认的Partition原创 2015-05-15 14:58:41 · 768 阅读 · 0 评论 -
Hadoop-MapReduce-Combiners
Hadoop-MapReduce-CombinersCombiners的作用: combiners是对Map的每次输出进行合并,然后传给Reduce,从而减少Map输出到Reduce的输出量,提升效率。 combiners是对每个map的输出进行一次合并,例如 Map1:(1997,20),(1997,10),(1997,50) Map2:(1997,1),(原创 2015-05-13 19:00:42 · 366 阅读 · 0 评论 -
文章标题
Hadoop系列学习-MapReduce的排序与自定义排序默认排序由于Hadoop默认是根据key去排序的。实现效果: 排序前: 1991 06 1991 08 1991 07 1989 01 1979 02 1990 03 2000 04 排序后: 1979 1979 02 1989 1989 01 1990 1990 03 19原创 2015-05-22 14:07:49 · 317 阅读 · 0 评论 -
欢迎使用CSDN-markdown编辑器
Hadoop系列–Ubuntu搭建JDK及环境变量本文主要讲的是在VM中通过Ubuntu搭建JDK的开发环境。 工具为:JDK7:jdk-7u79-linux-x64.tar.gz 下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html1、得到jdk-7u79-linux-x原创 2015-06-04 18:50:31 · 360 阅读 · 0 评论