数据清洗
关注
分享
扫一扫
文章平均质量分 92
匿名作者
这个作者很懒，什么都没留下…
展开
-
数据清洗 处理有字段缺失的数据
将有字段缺失的数据删除掉分析将清洗后的数据导入数据库表中筛选出新增确诊人数最多的前三天的数据map代码效果还有一种思路 把缺失的数据注释map代码package test7;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.NullWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Ma原创 2020-09-27 15:15:09 · 829 阅读 · 2 评论 -
数据清洗5
依然是mapperpackage test5;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.NullWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import org.codehaus.jettiso原创 2020-09-23 20:56:25 · 152 阅读 · 0 评论 -
数据清洗练习4
依然是mapper代码import net.sf.json.JSONObject;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.NullWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;public class mappp e原创 2020-09-20 16:47:15 · 340 阅读 · 0 评论 -
清洗实操练习3
mapper代码package test3;import net.sf.json.JSONObject;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.NullWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import org.codehaus.jettison.json.JSONE原创 2020-09-20 16:45:14 · 124 阅读 · 0 评论 -
数据清洗实操
大数据清洗实操例子“北京, 2020.9.3, 多云, 17-28, 无持续风向 3-4级”mapperimport org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.NullWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper原创 2020-09-15 20:38:36 · 232 阅读 · 0 评论 -
利用Hadoop MapReduce对文件进行处理
需求利用Hadoop MapReduce对文件进行处理源文件:(局部){"date":" 2020.9.3","temp":" 17-28","city":"北京","weather":" 多云","wind":" 无持续风向 3-4级"}处理后的结果:(局部)北京, 2020.9.3, 多云, 17-28, 无持续风向 3-4级提示:把json格式转换为简单字符串格式:依赖:<dependency> <groupId>common原创 2020-09-20 16:41:14 · 306 阅读 · 0 评论