MapReduce
关注
分享
扫一扫
大数据老哥
这个作者很懒，什么都没留下…
展开
-
快速入门MapReduce④ reduce端join与map端join实现
1.需求 订单表商品表实现机制：通过将关联的条件作为map输出的key，将两表满足join条件的数据并携带数据所来源的文件信息，发往同一个reduce task，在reduce中进行数据的串联2.创建join对象package com.czxy.order;import lombok.Data;import lombok.NoArgsConstruct...原创 2020-03-16 11:49:37 · 9435 阅读 · 27 评论 -
快速入门MapReduce③ MapReduce综合练习之上网流量统计
目录 需求： 1.创建maven项目导入pom.xml 2.自定义map输出value对象FlowBean 3.定义map类 4.定义reduce类 5.定义启动类 6.输入的文件及结果需求：统计每个手机号的上行流量总和，下行流量总和，上行总流量之和，下行总流量之和分析：以手机号码作为key值，上行流量...原创 2020-03-15 17:45:26 · 9347 阅读 · 27 评论 -
快速入门MapReduce② MapReduce的分区与ReduceTask的数量
1.需求这个文本文件，其中第六个字段表示开奖结果数值，现在以15为分界点，将15以上的结果保存到一个文件，15以下的结果保存到一个文件。2.创建maven项目导入所依赖的jar包注意：cdh版本已经不支持本地运行,所以我们用 apache版本<repositories> <repository> <id>...原创 2020-03-15 15:54:44 · 9406 阅读 · 27 评论 -
快速入门MapReduc① 实现WordCount
目录1.需要处理的数据2.创建maven项目pom.xml3.编写map类4.编写Reduce类5.编写启动类6.执行的结果1.需要处理的数据hello wordword counthello MapReduce2.创建maven项目pom.xml <repositories> <repository> ...原创 2020-03-15 14:30:14 · 8062 阅读 · 26 评论