Mapreduce
LAllenKing
这个作者很懒,什么都没留下…
展开
-
Mapreduce思想与案例
首先,我们了解一下mapreduce的核心思想,我们把它总结为天龙八部. map端: 第一步:按照Fileinputformat格式去读取文件,形成k v对的形式进行输出;key指代是行偏移量,value指代的是一行里面的文本内容 第二步:自定义map逻辑,按照相应的分隔符去拆分文本内容,形成新的k v对,进行输出。 shuffle阶段: 第三步:分区 相同key的value合并到同一个组,形...原创 2019-08-26 17:05:51 · 489 阅读 · 0 评论 -
在JDEA上实现MapReaduce简单案例
执行的一个简单案例: 用MapReduce实现一下需求 1、搜狗日志摘取“年月日时分” 2011 12 30 00 00 05 2、统计搜索过“爱奇艺”关键字的UID和搜索记录 uid keyword 3、统计上午7-9点之间,搜索过“赶集网”的用户(uid) uid 4.统计12月30号8点20-8点22分,所有用户id和浏览信息 1、搜狗日志摘取“年月日时分” Mapper端 package ...原创 2019-09-03 21:21:42 · 487 阅读 · 0 评论 -
在JDEA上实现MapReaduce复杂案例
我们来实现一下复杂的案例 求出两两之间的好友: A:B,C,D,F,E,O B:A,C,E,K C:F,A,D,I D:A,E,F,L E:B,C,D,M,L F:A,B,C,D,E,O,M G:A,C,D,E,F H:A,C,D,E,O I:A,O J:B,O K:A,C,D L:D,E,F M:E,F,G O:A,H,I,J /* 第一阶段的map函数主要完成以下任务 1.遍历原始文件中...原创 2019-09-03 21:28:51 · 232 阅读 · 0 评论 -
MapReduce解决乘用车辆和商用车辆的销售数据分析
首先还是看下我们的需求 然后拿到我们的数据 可以看到我们的数据里面还有很多空值,是还没清洗的脏数据,一会我们处理的时候需要将其处理掉. 一.统计车辆不同用途的数量分布 package hadoop.MapReduce.car.Use; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; ...原创 2019-09-06 09:16:31 · 6190 阅读 · 9 评论