mapreduce清洗实战
mapreduce清洗json案例
目标:去重去空,清洗不符合规则的数据以及数据格式转换(num-numk·num薪转换成numk·12薪,数据只取第一个num-保留小数点后两位,如20-30k·18薪就转换成了37.50)
#编写map
public class LiePingMapper extends Mapper<LongWritable, Text, Text, NullWritable> {
private static Text text =new Text();
原创
2020-09-25 00:25:50 ·
981 阅读 ·
0 评论