hadoop实验：求气象数据的最低温度

最新推荐文章于 2023-04-20 15:32:29 发布
VIP文章 最新推荐文章于 2023-04-20 15:32:29 发布
阅读量1.9k 收藏 5
点赞数 1
分类专栏： Hadoop Java 文章标签： hadoop java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010230476/article/details/40833343
版权


1.下载部分数据，因为实验就只下载2003年的部分气象数据

2.通过zcat *gz > sample.txt命令解压重定向

[hadoop@Master test_data]$ zcat *gz > /home/hadoop/input/sample.txt

3.查看数据格式

4.把文件sample.txt放进hdfs文件系统里

[hadoop@Master input]$ hadoop fs -put /home/hadoop/input/sample.txt  /user/hadoop/in/sample.txt

5.Maper ： MinTempe

最低0.47元/天 解锁文章
慢生活家
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
hadoop统计全球每年的最高气温和最低气温
weixin_46034600的博客
12-11 4903
1、课程设计题目及要求 （1）从ftp://ftp.ncdc.noaa.gov/pub/data/gsod下载2014到2018年的天气数据，然后对数据进行清洗，仅保留日期和当天的气温，数据文件保存为temperature.txt； （2）根据temperature.txt，统计全球每年的最高气温和最低气温；要求：按每年每月统计最高和最低气温；按每年每月统计平均气温，并按年月由近到远排序；按年月筛选15-25度之间的气温数据，并按2014到2016年分别存储到3个文件中。 （3）需要提交纸质作业报告，以及程
大数据开发平台Hadoop-MapReduce实训 统计全球每年的最高气温和最低气温
sone_pzk的博客
12-18 9300
标题统计全球每年的最高气温和最低气温 **数据资源来源：ftp://ftp.ncdc.noaa.gov/pub/data/gsod/ 1 实训目标 （1） 掌握 Combiner 的使用。 （2） 掌握自定义数据类型。 2 实训环境 （1） 使用 1.7版本的 JDK 。 （2） 使用带有三个节点的集群，主节点为 master ，子节点为 slave1 ， slav...
Hadoop实训求最高温度和最低温度的数据集
05-04
(1)统计全球每年的最高气温和最低气温。 (2)MapReduce输出结果包含年份、最高气温、最低气温，并按最高气温降序排序。如果最高气温相同，则按最低气温升序排序。 (3)使用自定义数据类型。 (4)结合Combiner和自定义数据类型完成全球每年最高气温和最低气温的统计。 (5)应用ToolRunner的使用和Eclipse提交MapReduce任务。
MapReduce程序理解
czl_Lynn的博客
07-07 411
1.JobConf conf的定义：用户向Hadoop框架描述一个map-reduce作业的基本接口 其下函数：设置job名，输出键的类，输出值的类， Mapper类，                   设置用户定义的Combiner类（去在map-outputs被发送到reducer之前进行整合），                   设置Reducer类，    
Hadoop—MapReduce计算气象温度等例子---练习
yyy
07-19 7113
1 运行环境说明 1.1  硬软件环境 l  主机操作系统：Windows 64 bit，双核4线程，主频2.2G，6G内存 l  虚拟软件：VMware® Workstation 9.0.0 build-812388 l  虚拟机操作系统：CentOS 64位，单核，1G内存 l  JDK：1.7.0_55 64 bit l  Hadoop：1.1.2 1.2  机器网络环境 集
MapReduce实验——分析年气象数据最高温度,最低温度
weixin_45740510的博客
12-24 1793
分析年气象数据最高温度 Map类 package MaxTemperature_05; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; import java.io.IOException; public class MyMap ex
Hadoop大数据实训，求最高温度最低温度实验报告
05-04
(1)统计全球每年的最高气温和最低气温。 (2)MapReduce输出结果包含年份、最高气温、...(4)结合Combiner和自定义数据类型完成全球每年最高气温和最低气温的统计。 (5)应用ToolRunner的使用和Eclipse提交MapReduce任务。
基于Hadoop豆瓣电影数据分析实验报告
06-16
针对本次实验，我们需要用到Hadoop集群作为模拟大数据的分析软件，集群环境必须要包括，hdfs，hbase，hive，flume，sqoop等插件，最后结合分析出来的数据进行可视化展示，需要用到Python（爬取数据集，可视化展示）...
Hadoop分析气象数据完整版代码
06-05
《分布式》布置了一道小作业，这是作业的所有代码，里面包含了Hadoop的MapReduce代码、和SSM框架显示数据的代码，有缺失私我，，，1积分吧哈哈。
java操作hadoop之mapreduce分析年气象数据最低温度实战源码
02-03
java操作hadoop之mapreduce分析年气象数据最低温度实战源码，附带所需jar包，欢迎学习。
The NCDC Weather Data for Hadoop the Definitive Guide
06-01
The NCDC Weather Data for Hadoop the Definitive Guide NCDC 气象数据 Hadoop权威指南 感谢NCDC
Hadoop 管理
02-07
Hadoop 管理Hadoop 管理Hadoop 管理Hadoop 管理Hadoop 管理Hadoop 管理Hadoop 管理Hadoop 管理Hadoop 管理Hadoop 管理Hadoop 管理Hadoop 管理Hadoop 管理Hadoop 管理Hadoop 管理Hadoop 管理Hadoop 管理Hadoop 管理
统计全球每年的最高/最低气温
BIPT919的博客
05-16 4312
文章目录数据准备1.下载数据2.处理数据一、统计全球每年的最高气温和最低气温1.YearMaxTAndMinT2.Mapper:MaxTAndMinTMapper3.Combiner:MaxTAndMinTCombiner4.Reducer:MaxTAndMinTReducer5.运行代码:MaxTAndMinT.java6.输出结果二、筛选气温在15~25°C之间的数据1.MTAMTMapper类2.MTAMTReducer类3.MTAMT类4.输出结果总结 数据准备 先启动hadoop，然后打开ecl
华纳云：在Linux系统中查看压缩文件的方法
YOKEhn的博客
04-20 3442
如果你正在使用美国机房服务器租用Linux系统，有时需要查看一些压缩文件中的内容，但是并不清楚怎么操作。下面就来介绍一下在Linux系统中查看压缩文件的方法。如果你需要在Linux系统中编辑文本文件，可以使用vi或nano编辑器。需要注意的是，对于vi编辑器，需要先按“i”进入insert模式，编辑完后按“Esc”退出insert模式，再输入“:wq”命令保存并退出。以上就是美国机房服务器中查看压缩文件的方法。如果你还有其他问题或不清楚操作方法，可以查阅Linux系统的相关文档或寻求技术支持。
mapreduce求ncdc气象数据中最低温度
weixin_42026041的博客
05-29 4158
网上对于ncdc求最低温度的mapreduce例子有多个版本，本文从下载ncdc的气象数据到执行mapredeuce程序给出详细步骤：1、下载数据：下载地址：ftp://ftp.ncdc.noaa.gov/pub/data/有两个文件夹/noaa和 /gsod文件格式分别为：ftp://ftp.ncdc.noaa.gov/pub/data/noaaftp://ftp.ncdc.noa...
hadoop入门十二（Map-Reduce）
盼盼
10-17 265
各种超级计算机Top500的网站了解并行框架Mapreduce:瓶颈是在IO上。 MPI:并行框架,适合密集计算，没有很多的IO操作。 PVM:是一堆接口 可时间并行计算 CUDA：显卡上的图像处理器，GPU的计算接口包，里面很很多的计算单元。 互联网计算：志愿计算机 贡献你的资源云计算 云计算是在关键技术成熟以后，催生的服务模式，低成本获得相同服务。 举个粒子：我购买很多硬件资源，出租给用
Hadoop-MapReduce原理及操作（小实验）
qq_28840013的博客
03-30 2053
本篇博客原理部分摘取自视频http://yun.itheima.com/course/301.html 实验部分教程来自https://www.shiyanlou.com/courses/237 （如果有不理解的可以直接查看上面的链接，另外说一下，该博客只能帮助你理解mapreduce的原理，如果你接触过相关开发的话，本博客可能并不能给你带来帮助。） MapReduce思想 MapReduce思想...
MaxTemperature
jc_benben的专栏
01-10 379
数据下载，参考：https://blog.csdn.net/jc_benben/article/details/86020114 将gz后缀的文件放到一个文件中，zcat  *.gz  >sample.txt,或者手动编辑一个文件做测试用，内容如下： 0067011990999991950051507004+68750+023550FM-12+038299999V0203301N006...
用Hadoop的MapReduce气象数据编程
someby的博客
10-06 2627
一：数据格式分析     1.数据（下载地址：ftp://ftp.ncdc.noaa.gov/pub/data/noaa）     0067011990999991950051507004888888889999999N9+00001+9999999999999999999999     0067011990999991950051512004888888889999999N9+00221+99...
hadoop101:50010,hadoop102:50010,hadoop103:50010
最新发布
05-10
它们用于向Hadoop集群中的NameNode节点汇报本节点存储的数据块信息，以及响应其他节点对本节点存储的数据块的读写请求。其中，hadoop101、hadoop102和hadoop103分别为三个DataNode节点的主机名，50010为DataNode节点...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值