weixin_45684269的博客

原创 hive学习9.27

原创 hive 学习9.26

原创 数据清洗 处理有字段缺失的数据

将有字段缺失的数据删除掉分析将清洗后的数据导入数据库表中筛选出新增确诊人数最多的前三天的数据map代码效果还有一种思路 把缺失的数据注释map代码package test7;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.NullWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Ma

原创 hive学习9.25

原创 hive学习9.24

原创 hive学习9.23

原创 数据清洗5

依然是mapperpackage test5;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.NullWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import org.codehaus.jettiso

原创 hive基础9.22

hive9.22

原创 数据清洗练习4

依然是mapper代码import net.sf.json.JSONObject;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.NullWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;public class mappp e

原创 清洗实操练习3

mapper代码package test3;import net.sf.json.JSONObject;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.NullWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import org.codehaus.jettison.json.JSONE

原创 利用Hadoop MapReduce对文件进行处理

需求利用Hadoop MapReduce对文件进行处理源文件:(局部){"date":" 2020.9.3","temp":" 17-28","city":"北京","weather":" 多云","wind":" 无持续风向 3-4级"}处理后的结果:(局部)北京, 2020.9.3, 多云, 17-28, 无持续风向 3-4级提示:把json格式转换为简单字符串格式:依赖:<dependency> <groupId>common

原创 数据清洗实操

大数据清洗实操例子“北京, 2020.9.3, 多云, 17-28, 无持续风向 3-4级”mapperimport org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.NullWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper

原创 Tomcat安装和eclipse server没有的问题