Mapreduce统计月份天气气温

最新推荐文章于 2022-06-27 16:25:00 发布
最新推荐文章于 2022-06-27 16:25:00 发布
阅读量969 收藏 6
点赞数
分类专栏： mapreduce java学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jws123123123/article/details/102507286
版权
本文分享了一段MapReduce的源代码，用于统计各月份的天气气温。在使用过程中需要注意数据类型判断，避免因类型错误导致reduce阶段无法正常运行。
摘要由CSDN通过智能技术生成

话不多说 先附上 源代码：

import java.io.File;
import java.io.IOException;
import org.apache.commons.io.FileUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache
最低0.47元/天 解锁文章
一个喜欢写 代码的小龙龙
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据开发平台Hadoop-MapReduce实训 统计全球每年的最高气温和最低气温
sone_pzk的博客
12-18 9456
标题统计全球每年的最高气温和最低气温 **数据资源来源：ftp://ftp.ncdc.noaa.gov/pub/data/gsod/ 1 实训目标 （1） 掌握 Combiner 的使用。 （2） 掌握自定义数据类型。 2 实训环境 （1） 使用 1.7版本的 JDK 。 （2） 使用带有三个节点的集群，主节点为 master ，子节点为 slave1 ， slav...
MapReduce之天气案例（按月分区，并求出每月的最高温度）
m0_48712142的博客
06-09 2602
今天老师给我们布置了一个作业，就是上面这个文档，将上面的内容按月分区，并输出每月的最高温度，来吧宝贝们。 拿到这个文档，首先我们一眼就可以看出要分成3个字段吧，其中温度我们要进行数值比较，所以在设置属性的基本数据类型的时候就应该把它设置为int型，然后由于我们还要按月进行分区，因为我们需要把第一个字段中的月份取出来，那我们也应该设置一个月份的属性吧，这里我们既有5个属性了，接下来直接看每个部分的代码吧 package test; import java.io.DataInput; import ..
MapReduce分析气象数据-分析每年12个月中每个月的最高温度和最低温度
weixin_46556780的博客
05-30 2859
MapReduce实验-分析五年气象数据之每年每个月的最高温度和最低温度
MapReduce项目之气温统计
weixin_34124939的博客
03-25 710
　　在本博文，我们要学习一个挖掘气象数据的程序。气象数据是通过分布在美国全国各地区的很多气象传感器每隔一小时进行收集，这些数据是半结构化数据且是按照记录方式存储的，因此非常适合使用 MapReduce 程序来统计分析。 　　我们使用的数据来自美国国家气候数据中心、美国国家海洋和大气管理局（简称 NCDCNOAA），这些数据按行并以 ASCII 格式存储，其中每一行是一条记录。 下面我们展示一行采...
案例2-mapreduce统计每年中每个月气温排行
抱愚守拙，持之以恒；不问结果，相信过程.
09-22 2221
如图所示我们要计算每年中每个月气温倒序排行，在这个例子中我们输入文件中的年份只有3个，所以例子中的reduceTask个数是3个。如果不确定年份的个数，就不能使用年份维度作为reduceTask个数。 首先，上传weather文件到/usr/input下： 执行任务： 分别查看/usr/output/weather下的三个文件内容： 1949年： 1950年： 19...
mapreduce框架学习之天气统计
11-11
本学习案例聚焦于MapReduce框架在天气统计中的应用，通过实际编程实践加深对框架的理解。 首先，MapReduce的工作原理可以概括为两个主要阶段：Map阶段和Reduce阶段。在Map阶段，输入的数据被分割成多个小块，每个块...
MapReduce天气源数据和计算类
12-28
本案例中，我们关注的是如何使用MapReduce处理1901年和1902年的天气源数据，找出这两年内每天的最大温度和最低温度。 首先，`MrTemperature.java`是实现MapReduce任务的主要Java源代码文件。在这个文件中，我们将...
MapReduce字数统计案例
10-24
在这个"MapReduce字数统计案例"中，我们将深入理解MapReduce的工作原理，并通过一个简单的字数统计任务来学习如何应用它。这个案例适合初学者和有经验的开发者进行实践与交流。 首先，MapReduce的工作流程分为两个...
MapReduce实验_统计词频.docx
06-06
Hadoop MapReduce 实验 - 词频统计 本实验报告详细介绍了使用 Hadoop 下的 MapReduce 实现词频统计的过程。实验中，我们首先准备了实验环境，包括配置完成的 Hadoop 伪分布式环境、操作系统 Linux、Hadoop 版本 ...
基于MapReduce的学生平均成绩统计
06-06
利用MapReduce实现了求学生成绩的最大值，最小值，及成绩分布。结合我的博客“MapReduce之学生平均成绩”看，效果更好。
mapreduce气象数据（用于测试）
12-29
本文件用于初学者学习hadoop权威指南时编写的获取最大气温的气象数据集，本人已测试使用
2008年美国每月最低气温MapReduce大数据分析
人人都是量化师的专栏
01-20 326
2008年美国每个月最低气温分析1.点击https://pan.baidu.com/s/1c1MPnSs下载2008.txt文件（这里是将2008.txt文件放在E盘中，跟Hadoop文件同处于一个盘）2.在命令提示符下 Hadoop-2.7.3\sbin 中输入 start-all.cmd 开启Hadoop服务3.准备输入、输出文件夹，在HDFS文件系统...
MapReduce -- 统计天气信息
HuFeiHu
09-23 926
示例   数据： 1949-10-01 14:21:02 34c 1949-10-02 14:01:02 36c 1950-01-01 11:21:02 32c 1950-10-01 12:21:02 37c 1951-12-01 12:21:02 23c 1951-12-02 12:21:02 45c 1951-12-03 12:21:0
MapReduce 计算气温最大/最小/平均值
小旋锋 的博客
11-27 4729
本实验来自于 《Hadoop权威指南》第4班 第2章 项目地址：https://github.com/whirlys/BigData-In-Practice/tree/master/ch2noaa 前置条件 安装好Java、maven、Hadoop等环境 美国国家气候数据中心-气象数据集下载地址：ftp://ftp.ncdc.noaa.gov/pub/data/noaa 步骤 1、 下载数...
MapReduce项目案例3——温度统计
weixin_51699336的博客
06-27 604
MapReduce项目案例3——温度统计
【Hadoop学习之九】MapReduce案例分析一-天气
weixin_30237719的博客
01-23 621
环境　　虚拟机：VMware 10 　　Linux版本：CentOS-6.5-x86_64 　　客户端：Xshell4　　FTP：Xftp4　　jdk8　　hadoop-3.1.1 找出每个月气温最高的2天 1949-10-01 14:21:02 34c 1949-10-01 19:21:02 38c 1949-10-02 14:01:02 ...
hadoop MapReduce计算总销售量，每个月的销售量，每个怕品牌的总销售量
不言尘世
12-09 3403
今天来练习一下mapreduce的入门小知识点 准备数据如下截图 有IP xiaomi 华为三个手机品牌，在2019年中每个月每天都有销量 1 求三个品牌一年一共销售多少部手机 package com.sheng.hdfs; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import or...
尚学堂大数据学习笔记（五）MapReduce简单案例1：找出每个月气温最高的2天
LGX_TvT的博客
02-09 1795
1. 数据集具体格式如下： 1951-07-03 12:21:03 47c 1949-10-01 14:21:02 34c 1949-10-01 19:21:02 38c 1949-10-02 14:01:02 36c 1950-01-01 11:21:02 32c 1950-10-01 12:21:02 37c 1951-12-01 12:21:02 23c 1950-10-02 12:21:0...
mapreduce剖析气象站平均气温
ZoeYen_
01-03 2019
一、气象数据按行并以 ASCII 格式存储，每一行是一条记录。下图展示了一行采样数据。1998 #year 03 #month 09 #day 17 #hour 11 #temperature -100 #dew 10237 #pressure 60
mapreduce统计每种天气
最新发布
06-03
好的，这是一个非常典型的MapReduce应用场景，下面是大致的实现思路： 1. Map阶段：将输入数据按照天气类型作为key，将value设为1，输出key-value对。 2. Shuffle阶段：将Map阶段的输出按照key进行分组。 3. Reduce阶段：对每一组数据进行聚合操作，统计每种天气的出现次数。 具体的代码实现可以参考以下伪代码： Mapper代码： ```python class WeatherMapper(): def map(self, key, value): # 将输入的天气数据按照天气类型作为key，次数作为value输出 words = value.strip().split() for word in words: yield (word, 1) ``` Reducer代码： ```python class WeatherReducer(): def reduce(self, key, values): # 对每个天气类型的出现次数进行累加 count = 0 for value in values: count += value yield (key, count) ``` 最后的输出结果将会是每种天气类型以及它出现的次数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值