求全年最高温度（通过mapreduce）

最新推荐文章于 2023-10-16 14:44:05 发布
最新推荐文章于 2023-10-16 14:44:05 发布
阅读量1.5k 收藏 1
点赞数
分类专栏： 大数据的点点滴滴
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37392932/article/details/81452210
版权

首先发地址

https://gitee.com/shuijin666/MRtemperature.git

里面有个测试文件以及源码

打开idea开始同步

完成将jar导出

然后xshell定位到文件目录

执行如下操作

hadoop jar temperaturem.jar mapreduce.temperature /demo/temperature.txt /demo/temperaturetongji.txtnew

  hdfs dfs -cat /demo/temperaturetongji.txtnew/part-r-00000

 

效果图如下

null_水金admin
关注
专栏目录
hadoop2.x入门：编写mapreduce对气象数据集求每日最高气温和最低气温
erygreat的博客
07-23 4492
1.下载气象数据集气象数据集下载地址为： - ftp://ftp.ncdc.noaa.gov/pub/data/noaa我们下载国内的气象数据，使用下面命令进行下载wget -D --accept-regex=REGEX -P data -r -c ftp://ftp.ncdc.noaa.gov/pub/data/noaa/2017/5*国内气象站ID区间为50001-59998详细的可以在《19
hadoop编程(4)-MapReduce案例：求每一年的最高温度
小9的专栏
10-22 2935
本文以最简洁的方式还原《Hadoop权威指南》一书中第一个MapReduce程序，便于后续继续深入了解MapReduce的能力。
MapReduce-过程介绍（求温度最大值）
a925907195的专栏
12-22 3841
Hadoop的内部工作机制: 分布式系统理论, 实际工程和常识于一体的系统. 但是,Hadoop提供的用于构建分布式系统的工具–数据存储, 数据分析,和协调处理–都非常简单. 每个阶段都以key/value对作为输入和输出, 类型由程序员选择. 程序员需要定义两个函数: map函数和reduce函数. 对于map阶段, 输入的是原始的NCDC(国家气候数据中心)数据
MapReduce案例——求每年最高气温
zzf135的博客
04-23 3029
MapReduce的逻辑数据流 第一步、需要一个 map函数： import java.io.IOException; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; //hadoop 本身提供了一套可优化网络序列化传输的基本类型，而不直接使用java内嵌的类型 import org.apache.hadoop.mapre
hadoop之最大气温
蚂蚁先锋队的博客
09-10 485
hadoop权威指南第8章第2小结介绍了通过MR求最大气温的例子。 我做了简单修改后代码如下： 输入 1995 10 1996 10 1995 5 1999 20 1999 10 1996 3 期望输出： 1995 10 1996 10 1999 20 //自定义类InitPair public class InitPair implements Writabl
Pig实例:使用Pig latin来求年最高气温(测试NCDC天气数据)
江南浙里的专栏
02-07 1166
如何使用Pig latin来求年最高气温？
Hadoop-02-第一个MapReduce程序--统计每年最高温度
yijianbo900625的专栏
12-17 1269
占座中，等待笔记整理上传...
Hadoop大数据实训，求最高温度最低温度实验报告
05-04
通过这个实验，学生将深入理解Hadoop MapReduce的工作原理，掌握如何处理自定义数据类型，使用Combiner优化性能，以及如何通过Eclipse提交和管理MapReduce任务。这些都是大数据处理和分布式计算中的核心技能，对于...
MapReduce处理通过采集的气象数据分析每年的最高温度源代码
05-04
在"MapReduce处理通过采集的气象数据分析每年的最高温度源代码"这个项目中，我们主要关注的是如何利用MapReduce框架来分析气象数据，找出每年的最高温度。这个过程通常包括以下几个步骤： 1. **数据预处理**：首先...
Hadoop实训求最高温度和最低温度的数据集
05-04
(2)MapReduce输出结果包含年份、最高气温、最低气温，并按最高气温降序排序。如果最高气温相同，则按最低气温升序排序。 (3)使用自定义数据类型。 (4)结合Combiner和自定义数据类型完成全球每年最高气温和最低气温的...
MaxTemperature:检查最高温度的简单 MapReduce 程序
06-08
这个程序名为 "MaxTemperature"，旨在通过 MapReduce 模型找出一组气象数据中的最高温度。它是一个基于 Java 编写的示例，适合初学者理解和学习 MapReduce 的基本工作原理。 【描述】"MapReduce 程序 使用 Java ...
18、MapReduce的计数器与通过MapReduce读取-写入数据库示例
05-29
总结一下，MapReduce的计数器提供了强大的监控和调试能力，而通过MapReduce与数据库的交互则扩展了大数据处理的应用场景。开发者可以根据需求利用计数器来优化作业性能，同时结合数据库操作实现更复杂的数据处理流程...
使用MapReduce对年份、温度进行全排序，防止数据倾斜（详）
a8330508的博客
07-28 539
  何为全排序？全排序就是将part-r-xxxxx文件合在一起，数据仍然有序。   先来讲讲对年份、温度进行简单排序：        1.以下是关于年份、温度的数据：                ....        2.对以上数据计算出每年最高气温        3.编程：              ①编写一个继承Mapper的类，重写map方法:              ...
map reduce程序示例
weixin_33720452的博客
11-05 116
map reduce程序示例   package test2; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; i...
mapreduce编程（二）－ 大象书中求每一年的最高温度
p_x1984的专栏
11-02 360
书上的例子是为了取出一年当中气温最高的值，那么将年份和气温做了一个复合的key. 1 通过设置了partitioner来进行分区。因为分区是按照年份来进行，所以同年的数据就可以分区到一个reducer中。 2 自定义key比较器，按照年份升序，温度值降序。这样map输出的所有kv对就是按照年份升序，温度值降序排列的。 3 自定义分组比较器，所有同一年的数据属于同一个组，那么在redu...
Hadoop(4-3)-MapReduce程序案例-统计每一年最高温度
知行合一，止于至善
08-10 4595
一、软件环境 我使用的软件版本如下: 1. Intellij Idea 2017.1二、创建maven工程及配置 2.1创建工程 打开Idea,file->new->Project,左侧面板选择maven工程。(如果只跑MapReduce创建Java工程即可，不用勾选Creat from archetype，如果想创建web工程或者使用骨架可以勾选) 创建完成后以及运行结束后目录
求全年最高气温
最新发布
m0_63743236的博客
10-16 165
本实验通过mapreduce技术，利用分布式计算的原理，实现了计算全年最高气温的应用案例。通过本实验需要掌握reduce端聚合的处理方法。在企业的真实业务场景中，reduce端数据聚合的应用还是比较多的。
Anaconda在windows安装与环境配置
热门推荐
水金的博客
07-25 9万+
Anaconda 是一个包含数据科学常用包的 Python 发行版本。它基于 conda ——一个包和环境管理器——衍生而来。你将使用 conda 创建环境，以便分隔使用不同 Python 版本和不同程序包的项目。你还将使用它在环境中安装、卸载和更新包。通过使用 Anaconda，处理数据的过程将更加愉快。 Jupyter notebook 是一种 Web 文档，能让你将文本、图像和代码全部组合...
温度感知MapReduce：节能任务调度策略
"本文主要探讨了在MapReduce框架下，现有的任务调度策略如FIFO、Fair、Capacity、LATE和Deadline Constraint存在的问题，这些问题主要集中在忽视了TaskTracker节点的温度状态。作者指出，当TaskTracker节点温度过...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值