mapreduce实战之空气质量分析(一)

本文介绍了使用MapReduce进行空气质量分析的过程,包括数据介绍、问题定义、MapReduce程序的编写和运行,以及结果排序。通过分析,得出海口在这段时间内空气质量最佳,其次是昆明,最差的是郑州。
摘要由CSDN通过智能技术生成

很久很久没有更新了,这个学期实在一堆课程论文。苦逼菜鸡的我还没去实习。
下面正文开始。
前言:
本文默认各位读者具备了一定的java编程能力和MapReduce基本运作过程,作者尽量给大家多注释。
数据介绍:
数据近40万行,时间从2018.8.1 零点 至 2019.6.10 23点,城市有北京,上海, 天津,青岛,济南,厦门,郑州,乌鲁木齐,成都,呼和浩特,海口和昆明;其中每个城市有很多站号(采集点),
一个站号,每个小时的采集数据占一行。
给大家放个云盘连接吧。链接:https://pan.baidu.com/s/1AFptQ47pqnv6KqijPMe6Mw
提取码:0ys0
如果失效了大家及时提醒我。趁早,说不定我转行忘了了。
在这里插入图片描述
要求:

  1. 这个时间范围内,哪个城市的PM25统计指标最低,哪个最高;统计指标(模型)自己决定,需要说明指标确定理由。
  2. 统计2019年2月份(春节期间)北京、上海、成都空气情况分布(空气质量:优、良、轻度污染、中度污染、重度污染天数分布),空气质量标准参照国家颁布的标准。
  3. 自己提分析需求并实现(选做)。
    本文暂且介绍第一题。

步骤

  1. 自己运行linux和hadoop,这个不知道的话,那先打好基础哦,不积跬步无以至千里。

  2. 传文件到hadoop里面,给大家用程序传过去吧

package test;

import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

/**
i am cloud
 1. @author Cloud
 */
public class GetFile {
    public static void main(String[] args) throws IOException{
        Configuration conf = new Configuration();
        //192.168.172.5这个是你的Linux中的master的ip地址,你自己换。
        conf.set("fs.defaultFS","hdfs://192.168.172.5:9000");
        FileSystem file = FileSystem.get(conf);
        file.copyFromLocalFile(new Path("F:/可以删除/PM25city.txt"), new Path("/user/root/pm
  • 3
    点赞
  • 55
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值