![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop-MapReduce
fengzhif0001
这个作者很懒,什么都没留下…
展开
-
Hadoop MapReduce开发--数据去重
环境 hadoop-2.9.1 windows7 idea15 示例数据 file1.txt 2012-3-1 a 2012-3-2 b 2012-3-3 c 2012-3-4 d 2012-3-5 a 2012-3-6 b 2012-3-7 c 2012-3-3 c file2.txt 2012-3-1 b 2012-3-2 a 2012-3-3 b 2012-3-4 d 2012-3-...原创 2018-10-10 10:17:32 · 334 阅读 · 0 评论 -
Hadoop MapReduce开发--升序排序数据,且数据不去重
测试数据: file1.txt 2 32 654 32 15 756 65223 file2.txt 5956 22 650 92 file3.txt 26 54 6 Mapper代码: import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import o...原创 2019-01-11 10:55:57 · 605 阅读 · 3 评论 -
Hadoop MapReduce开发--平均值
测试数据: china.txt 张三 78 李四 89 王五 96 赵六 67 english.txt 张三 80 李四 82 王五 84 赵六 86 math.txt 张三 88 李四 99 王五 66 赵六 77 mapper代码: import org.apache.hadoop.io.In...原创 2019-01-11 14:08:47 · 194 阅读 · 0 评论 -
Hadoop MapReduce开发--最小最大值
测试数据: file1.txt 102 10 39 109 200 11 2 90 28 file2.txt 5 2 30 838 10005 mapper代码: import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop...原创 2019-01-11 14:44:48 · 493 阅读 · 0 评论 -
Hadoop MapReduce开发--取TopN数据
测试数据: file1.txt 1,9819,100,121 2,8918,2000,111 3,2813,1234,22 4,9100,10,1101 5,3210,490,111 6,1298,28,1211 7,1010,281,90 8,1818,9000,20 file2.txt 100,3333,10,100 101,9321,1000,293 102,3881,701,...原创 2019-01-12 12:36:27 · 616 阅读 · 0 评论 -
Hadoop MapReduce开发--对输入日志数据进行统计
该案例对输入日志数据进行统计: 要求:区别统计GET和POST URL访问量 测试数据: 127.0.0.1 - - [03/Jul/2014:23:36:38 +0800] "GET /course/detail/3.htm HTTP/1.0" 200 38435 0.038 182.131.89.195 - - [03/Jul/2014:23:37:43 +0800] "GET / H...原创 2019-01-12 12:41:00 · 727 阅读 · 0 评论 -
Hadoop MapReduce开发--两个输入数据关联
测试数据: dept.txt #deptno dname loc 30 sales chicago 20 research dallas 10 accounting newyork employee.txt #empno ename job mgr hiredate sal ...原创 2019-01-12 14:58:45 · 355 阅读 · 0 评论 -
Hadoop MapReduce开发--两个输入数据关联优化方案
将人员的地址ID完善成为地址名称。输出格式:人员ID,姓名,地址 测试数据: address.txt #地址ID 地址名称 1 北京 2 上海 3 广州 employee.txt #人员ID 人员名称 地址ID 1 张三 1 2 李四 2 3 王五 1 4 赵六 3 5 马七 3 U...原创 2019-01-17 10:10:21 · 205 阅读 · 0 评论 -
Hadoop MapReduce开发--两个输入数据关联优化方案(增加排序功能)
两表关联后,并对某字段进行排序 测试数据: address.txt #地址ID 地址名称 1 北京 2 上海 3 广州 employee.txt #人员ID 人员名称 地址ID 1 张三 1 2 李四 2 3 王五 1 4 赵六 3 5 马七 3 首先,bean实体类:User ...原创 2019-01-29 10:31:22 · 274 阅读 · 0 评论