hadoop
好先生!!!
这个作者很懒,什么都没留下…
展开
-
数据倾斜的一种解决
数据倾斜的一种解决: (1.重写Partitioner自定义分区) package com.mr.day04; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Partitioner; import java.util.R...原创 2019-08-29 15:17:28 · 171 阅读 · 0 评论 -
1.对象数据的处理&2.json数据处理&3.提取网站并计算流量&4.分组TopN&5.MapjoinTest
1.对象数据的处理: (1)person类: package com.mr.day05.test01; import org.apache.hadoop.io.Writable; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; public class person imple...原创 2019-08-29 15:49:51 · 247 阅读 · 0 评论