- 博客(3)
- 资源 (9)
- 收藏
- 关注
原创 mapreduce流程中的几个关键点
MapReduce中数据流动 (1)最简单的过程: map - reduce (2)定制了partitioner以将map的结果送往指定reducer的过程: map - partition - reduce (3)增加了在本地先进性一次reduce(优化)过程: map - combin(本地reduce) - partition -reducemap函数的处理...
2016-11-12 20:46:04 331
原创 MapReduce二次排序
默认情况下,Map 输出的结果会对 Key 进行默认的排序,但是有时候需要对 Key 排序的同时再对 Value 进行排序,这时候就要用到二次排序了。下面让我们来介绍一下什么是二次排序。二次排序原理 我们把二次排序主要分为以下几个阶段。Map 起始阶段 在Map阶段,使用 job.setInputFormatClass() 定义的 Inpu...
2016-11-07 14:51:05 2462
原创 Hadoop自定义分组Group
matadata:[code="java"]hadoop a spark a hive a hbase a tachyon a storm a redis a [/code]自定义分组[code="java"]import org.apache.hadoop.conf.Configuration;impo...
2016-11-07 12:35:48 350
hadoop2.6 hadoop.dll、winutils.exe的文件
2018-07-09
海康威视视频监控android移动端调用
2014-04-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人