使用Hadoop分析气象数据完整版（附带完整代码）_hadoop气象数据分析(1)

最新推荐文章于 2024-05-11 12:36:51 发布

2401_84160087

最新推荐文章于 2024-05-11 12:36:51 发布

阅读量894

点赞数 18

分类专栏：程序员文章标签：大数据面试学习

本文链接：https://blog.csdn.net/2401_84160087/article/details/138710268

版权

程序员专栏收录该内容

186 篇文章 1 订阅

订阅专栏

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

顶的一部分的代码。缺少值：-9999

域：
0:无，SKC或CLR
1：一个okta-1/10或更小但不是零
2：两个oktas-2/10-3/10，或几个
3：三个oktas-4/10
4：四个oktas-5/10，或SCT
5：五个oktas-6/10
6：六个oktas-7/10-8/10
7：七个oktas-9/10或以上，但不是10/10或BKN
8：八个oktas-10/10，或OVC
9：天空模糊不清，或云量无法估计
10：部分遮蔽
11：稀散
12：分散的
13：暗散射
14：薄断
15：破碎的
16：暗断
17：薄阴
18：阴天
19：阴天
字段11：位置50-55，长度6：液体沉淀深度尺寸-持续一小时，在一个小时的积累期内测量
的液体沉淀的深度。单位：毫米，比例因子：10，缺少值：-9999。*注：痕量降水编码为-1
字段12：位置56-61，长度6：液体沉淀深度尺寸-持续6小时，在六小时的积累期内测量的液
体沉淀的深度。单位：毫米。比例因子：10。缺少值：-9999。*注：痕量降水编码为-1


**字段很多，但是这里我只用前5个字段，任务是统计每日最高温度、最低温度、平均温度，有时间的话顺便计算点儿静态统计值。其余字段应该是类似的，正所谓一通百通。**


### 1.3 合并数据


数据很分散，合并数据：  
 `zcat 2019/*.gz > data.txt`


到此数据获取完毕。


## 2 MapReduce处理数据


### 2.1 环境配置，启动集群


详情跳转到 : [大数据学习系列：Hadoop3.0苦命学习（一）](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)，本文不再赘述。


### 2.2 上传到HDFS

hdfs dfs -mkdir -p /usr/hadoop/in
hdfs dfs -ls /usr/hadoop/
hdfs dfs -put data.txt /usr/hadoop/in/


执行截图：  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20200526233016269.png)  
 去控制台查看一下是否成功：


![在这里插入图片描述](https://img-blog.csdnimg.cn/20200526233219846.png)


### 2.2 编写MapReduce代码


#### 2.2.1 TemperatureMapper

public class TemperatureMapper extends Mapper<LongWritable, Text,
Text, LongWritable> {

private static final long MISSING = -9999;

@Override
protected void map(LongWritable key, Text value, Context context) 
		throws IOException, InterruptedException {
    String line = value.toString();
    Iterable<String> split = Splitter.on(" ").omitEmptyStrings().split(line);
    ArrayList<String> arrayList = new ArrayList<>(16);
    for (String s : split) {
        arrayList.add(s);
    }
    // 过滤掉字段不足的数据
    if (arrayList.size() >= 5) {
        String month = arrayList.get(1);
        String day = arrayList.get(2);
        long temperature = Long.parseLong(arrayList.get(4));
        // 过滤掉温度不存在的数据
        if (Math.abs(temperature - MISSING) > 0.0001) {
            context.write(new Text(month + "/" + day), 
            		new LongWritable((temperature)));
        }
    }
}

}


主要是原数据进行了清洗，过滤了一些不合格的数据。


#### 2.2.2 TemperatureReducer

public class TemperatureReducer extends Reducer<Text, LongWritable,
Text, Temperature> {
@Override
protected void reduce(Text key, Iterable values,
Context context) throws IOException, InterruptedException {
long maxTemperature = Long.MIN_VALUE;
long minTemperature = Long.MAX_VALUE;
double avgTemperature = 0.0;
long temp;
int count = 0;
if (values!=null) {
for (LongWritable value: values) {
temp = value.get();
maxTemperature = Math.max(temp, maxTemperature);
minTemperature = Math.min(temp, minTemperature);
avgTemperature += temp;
count++;
}
Temperature temperature = new Temperature(maxTemperature,
minTemperature, avgTemperature/count);

        context.write(key, temperature);
    }

}

}


计算出每日温度的最大值、最小值和平均值，并放入`Temperature`对象中。


#### 2.2.3 JobMain

public class JobMain extends Configured implements Tool {
@Override
public int run(String[] strings) throws Exception {
// 创建一个任务对象
Job job = Job.getInstance(super.getConf(), “mapreduce_temperature”);

    // 打包放在集群运行时，需要做一个配置
    job.setJarByClass(JobMain.class);

    // 第一步：设置读取文件的类：K1和V1
    job.setInputFormatClass(TextInputFormat.class);
    TextInputFormat.addInputPath(job, 
    	new Path("hdfs://node01:8020/usr/hadoop/in"));

    // 第二步：设置Mapper类
    job.setMapperClass(TemperatureMapper.class);
    // 设置Map阶段的输出类型：k2和v2的类型
    job.setMapOutputKeyClass(Text.class);
    job.setMapOutputValueClass(LongWritable.class);

    // 第三、四、五、六步采用默认方式（分区，排序，规约，分组）

    // 第七步：设置Reducer类
    job.setReducerClass(TemperatureReducer.class);
    // 设置Reduce阶段的输出类型
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(Temperature.class);


    // 第八步：设置输出类
    job.setOutputFormatClass(TextOutputFormat.class);
    // 设置输出路径
    TextOutputFormat.setOutputPath(job, 
    	new Path("hdfs://node01:8020/usr/hadoop/temperature"));

    boolean b = job.waitForCompletion(true);

    return b?0:1;
}

public static void main(String[] args) throws Exception {
    Configuration configuration = new Configuration();
    // 启动一个任务
    ToolRunner.run(configuration, new JobMain(), args);
}

}


### 2.3 执行


#### 2.3.1 打包、上传


老套路，不说了。


#### 2.3.2 运行


`hadoop jar temperature_test-1.0-SNAPSHOT.jar cn.sky.hadoop.JobMain`  
 执行结果：  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20200527083242819.png)  
 在这里看一眼数据：  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20200527090706697.png)  
 嗯，还行。


## 3 导入数据到Hive


Hive详情过程，请参考：[大数据学习系列：Hadoop3.0苦命学习（五）](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)


有个问题，若直接从HDFS导入数据到Hive，HDFS上的数据会丢失。


所以我将数据下载下来，重命名为 `temperature_data` ，并上传到 `node03` 上  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20200527091432159.png)  
 数据有了，开始创建Hive表：

create external table temperature (t_date string, t_max double,
t_min double, t_avg double) row format delimited fields terminated by ‘\t’;


加载数据到hive：

load data local inpath ‘/export/services/temperature_data’ overwrite
into table temperature;


查前面5条数据，看一眼：

select * from temperature limit 5;


![在这里插入图片描述](https://img-blog.csdnimg.cn/20200527092327259.png)


## 4 Hive数据分析


弄得简单，就查几个静态数据吧。


1. 查询2019全年平均温度  
 `select avg(t_avg) from temperature;`


哇，太慢了，查了25秒，最终结果是3.46（因为数据是被放大了10倍）左右  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20200527092811353.png)


2. 查询2019全年高于平均温度的天数  
 `select count(1) from temperature where t_avg > 34.6;`  
 答案是：196天，很显然低于平均气温的天数是169天。


![在这里插入图片描述](https://img-blog.csdnimg.cn/20200527093329607.png)  
 好了，差不多就行了。


## 5 使用Sqoop导入数据到Mysql


Sqoop详情过程，请参考：[大数据学习系列：Hadoop3.0苦命学习（七）](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)


### 5.1 Mysql创建数据库

CREATE TABLE temperature (
Tem_Date varchar(10) NOT NULL,
Tem_Max double DEFAULT NULL,
Tem_Min double DEFAULT NULL,
Tem_Avg double DEFAULT NULL,
PRIMARY KEY (Tem_Date)
) ENGINE=InnoDB DEFAULT CHARSET=utf8


### 5.2 开始导入

bin/sqoop export --connect jdbc:mysql://192.168.0.102:3306/userdb
–username root --password 123456 --table temperature
–export-dir /usr/hadoop/temperature --input-fields-terminated-by “\t”


经过半分钟的等待，就可以在mysql中查到数据了，见下图：  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20200527095829348.png)  
 不错，数据很好。


## 6 展示数据


这里前端使用echart，jsp，后端使用Spring、SpringMVC、Mybatis。


代码较多，展示主要的。


### 6.1 前端代码


![在这里插入图片描述](https://img-blog.csdnimg.cn/20200527155203652.png)  
 主要是这一段，使用Ajax向后台请求数据，然后将数据丢进eChart中。


### 6.2 后端代码


**controller层**

@Autowired
private TemperatureService tempService;
@RequestMapping(“/getTemperature.action”)
@ResponseBody
public TemperatureReturnPojo getTemperature(){
TemperatureReturnPojo temperaturePojo = tempService.getAllTemperature();
System.out.println(temperaturePojo);
return temperaturePojo;
}


**Service层**

public interface TemperatureService {
TemperatureReturnPojo getAllTemperature();
}


**Service实现类**




![img](https://img-blog.csdnimg.cn/img_convert/9adfb726e71001ded7f74c73548de435.png)
![img](https://img-blog.csdnimg.cn/img_convert/23bfbb95931be63278547c72b01130ed.png)
![img](https://img-blog.csdnimg.cn/img_convert/4a5b9c688e8e3fa162754710535c5e47.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**

;
}

Service实现类

[外链图片转存中…(img-NXa9j1iM-1715402098330)]
[外链图片转存中…(img-dWO4hZgQ-1715402098330)]
[外链图片转存中…(img-2fcmHyl8-1715402098330)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

2401_84160087

关注

18
点赞
踩
12

收藏

觉得还不错? 一键收藏
0
评论
使用Hadoop分析气象数据完整版（附带完整代码）_hadoop气象数据分析(1)

单位：毫米，比例因子：10，缺少值：-9999。字段12：位置56-61，长度6：液体沉淀深度尺寸-持续6小时，在六小时的积累期内测量的液。字段11：位置50-55，长度6：液体沉淀深度尺寸-持续一小时，在一个小时的积累期内测量。7：七个oktas-9/10或以上，但不是10/10或BKN。2：两个oktas-2/10-3/10，或几个。8：八个oktas-10/10，或OVC。4：四个oktas-5/10，或SCT。6：六个oktas-7/10-8/10。5：五个oktas-6/10。
复制链接

扫一扫