Hadoop基础教程-第6章 MapReduce入门（6.5 温度统计）（草稿）

最新推荐文章于 2024-05-15 07:14:14 发布
最新推荐文章于 2024-05-15 07:14:14 发布
阅读量733 收藏 8
点赞数 1
分类专栏： 大数据-Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/airufengye/article/details/80870280
版权

第6章 MapReduce入门

6.5 温度统计

6.5.1 问题描述

《HADOOP权威指南 第3版 》教程中有个经典例子，既是温度统计。作者Tom White在书中写了程序和讲解了原理，认为读者们都会MapReduce程序的基本环境搭建部署，所以这里轻描淡写给带过了，对于初学者来说，这是一个“天坑”，程序跑步起来，也就消磨了Hadoop初学者的兴趣和意志。

本节内容的Java项目目录结构请参见6.4节。

这里根据《HADOOP权威指南 第3版 》书中描写，再简单描述一下这个问题。 
这是来自美国气象数据中心的数据，示例数据如下。 
这里写图片描述
省略号表示一些未使用的列（暂不考虑）。 
将这些若干多行数据以键值对方式作为map方法的输入，行号（行偏移量）作为key,value是一行数据本身。 
这里写图片描述
为了方便温度统计，我们需要从每一行数据中提取出年份和温度（上图的黑体字即是）。其中4位年份是一行的第15到到第18个字符；温度被放大了100倍，每行从第87个字符,到 第91个字符，第87个字符表示温度正负符号。 
这里写图片描述

2017-6-19更新 
下载数据 ftp://ftp.ncdc.noaa.gov/pub/data/gsod/

为了测试方便，我们只下载了2016年和2017年的数据

(1)解压年份压缩包

[root@nb0 data]# tar -xvf gsod_2016.tar
[root@nb0 data]# tar -xvf gsod_2017.tar
[root@nb0 data]# ls
........
151130-99999-2016.op.gz  416200-99999-2016.op.gz  689230-99999-2016.op.gz  723284-93839-2017.op.gz  871210-99999-2016.op.gz
151130-99999-2017.op.gz  416200-99999-2017.op.gz  689230-99999-2017.op.gz  723290-03935-2016.op.gz  871210-99999-2017.op.gz
151170-99999-2016.op.gz  416240-99999-2016.op.gz  689250-99999-2016.op.gz  723290-03935-2017.op.gz  871271-99999-2017.op.gz
151170-99999-2017.op.gz  416240-99999-2017.op.gz  689250-99999-2017.op.gz  723300-03975-2016.op.gz  871290-99999-2016.op.gz
151180-99999-2016.op.gz  416360-99999-2016.op.gz  689260-99999-2016.op.gz  723300-03975-2017.op.gz  871290-99999-2017.op.gz

(2)合并文件 
使用zcat命令把这些数据文件解压并合并到一个ncdc.txt文件中

[root@nb0 data]# zcat *.gz > ncdc.txt
[root@nb0 data]# ll |grep ncdc
-rw-r--r-- 1 root root 874976505 Jun 19 21:10 ncdc.txt

(3)查看ncdc.txt文件

[root@nb0 data]# head -12 ncdc.txt 
STN--- WBAN   YEARMODA    TEMP       DEWP      SLP        STP       VISIB      WDSP     MXSPD   GUST    MAX     MIN   PRCP   SNDP   FRSHTT
007026 99999  20160622    94.7  7    66.7  7  9999.9  0  9999.9  0    6.2  4    0.0  7  999.9  999.9   100.4*   87.8*  0.00I 999.9  000000
007026 99999  20160623    88.3 24    69.7 24  9999.9  0  9999.9  0    6.2 24    0.0 24  999.9  999.9    98.6*   78.8*  0.00I 999.9  000000
007026 99999  20160624    80.5 24    69.3 24  9999.9  0  9999.9  0    5.8 22    0.0 24  999.9  999.9    93.2*   69.8* 99.99  999.9  010000
007026 99999  20160625    81.4 24    71.8 24  9999.9  0  9999.9  0    5.9 23    0.0 24  999.9  999.9    89.6*   73.4*  0.00I 999.9  000000
007026 99999  20160626    80.5 24    63.4 24  9999.9  0  9999.9  0    6.2 22    0.0 24  999.9  999.9    91.4*   69.8*  0.00I 999.9  000000
007026 99999  20160627    80.6 24    64.2 24  9999.9  0  9999.9  0    6.0 23    0.0 24  999.9  999.9    93.2*   68.0*  0.00I 999.9  000000
007026 99999  20160628    77.4 24    70.8 24  9999.9  0  9999.9  0    5.1 17    0.0 24  999.9  999.9    87.8*   71.6* 99.99  999.9  010000
007026 99999  20160629    74.3 16    71.9 16  9999.9  0  9999.9  0    2.7 13    0.0 16  999.9  999.9    86.0*   69.8*  0.00I 999.9  000000
STN--- WBAN   YEARMODA    TEMP       DEWP      SLP        STP       VISIB      WDSP     MXSPD   GUST    MAX     MIN   PRCP   SNDP   FRSHTT
007026 99999  20170210    46.9 11    19.4 11  9999.9  0  9999.9  0    6.2 11    3.6 11    8.0   13.0    53.6*   35.6*  0.00I 999.9  000000
007026 99999  20170211    54.4 24    35.0 24  9999.9  0  9999.9  0    6.2 24    4.7 24   12.0   21.0    77.0*   42.8*  0.00I 999.9  000000

(4)数据格式说明 
ftp://ftp.ncdc.noaa.gov/pub/data/gsod/readme.txt

字段定位类型说明
STN—1-6Int.气象站编号
WBAN8-12Int.WBAN号码适用 - 这是历史上“气象局空军海军”编号 - 以WBAN为首字母缩写。
YEAR15-18Int.年份.
MODA19-22Int.月日.
TEMP25-30Real当天平均气温在华氏度，丢失值为9999.9
Count32-33Int.用于计算平均温度的观察数。
DEWP36-41Real平均露点为华氏度，丢失值为9999.9
Count43-44Int.用于计算平均露点的观测数。
SLP47-52Real平均海平面压力为白天毫巴，丢失值为9999.9
Count54-55Int.用于计算平均海平面压力的观测数量。
STP58-63Real本站气压，丢失值为9999.9
Count65-66Int.用于计算平均站压力的观测数量
VISIB69-73Real当天的平均可见度。丢失值为999.9
Count75-76Int.用于计算平均可见度的观察数量。
WDSP79-83Real当天平均风速. 丢失值为999.9
Count85-86Int.用于计算平均风速的观测数。
MXSPD89-93Real当天报告的最大持续风速，丢失值为999.9
GUST96-100Real最高阵风报告为一天. 丢失值为999.9
MAX103-108Real华氏天气报告的最高气温（因国家和地区而异），丢失值为9999.9
Flag109-109Char空白表示最高温度不是从“小时”数据中获取的， *表示从小时数据得出最大温度。
MIN111-116Real白天报告的最低气温在华氏温度，丢失值为9999.9
Flag117-117Char空白表示最小温度不是从“小时数据”中获取的，*表示从小时数据得出最小温度。
PRCP119-123Real白天报告的总降雨量（雨和/或融雪），.00表示没有可测量的降水，缺失=99.99
SNDP126-130Real：雪深度， 缺少= 999.9
FRSHTT133-138Int.指标

(5)删除标题行 
使用sed命令删除匹配STN的行

[root@nb0 data]# sed -i '/STN/d' ncdc.txt

查看结果

[root@nb0 data]# head -12 ncdc.txt
007026 99999  20160622    94.7  7    66.7  7  9999.9  0  9999.9  0    6.2  4    0.0  7  999.9  999.9   100.4*   87.8*  0.00I 999.9  000000
007026 99999  20160623    88.3 24    69.7 24  9999.9  0  9999.9  0    6.2 24    0.0 24  999.9  999.9    98.6*   78.8*  0.00I 999.9  000000
007026 99999  20160624    80.5 24    69.3 24  9999.9  0  9999.9  0    5.8 22    0.0 24  999.9  999.9    93.2*   69.8* 99.99  999.9  010000
007026 99999  20160625    81.4 24    71.8 24  9999.9  0  9999.9  0    5.9 23    0.0 24  999.9  999.9    89.6*   73.4*  0.00I 999.9  000000
007026 99999  20160626    80.5 24    63.4 24  9999.9  0  9999.9  0    6.2 22    0.0 24  999.9  999.9    91.4*   69.8*  0.00I 999.9  000000
007026 99999  20160627    80.6 24    64.2 24  9999.9  0  9999.9  0    6.0 23    0.0 24  999.9  999.9    93.2*   68.0*  0.00I 999.9  000000
007026 99999  20160628    77.4 24    70.8 24  9999.9  0  9999.9  0    5.1 17    0.0 24  999.9  999.9    87.8*   71.6* 99.99  999.9  010000
007026 99999  20160629    74.3 16    71.9 16  9999.9  0  9999.9  0    2.7 13    0.0 16  999.9  999.9    86.0*   69.8*  0.00I 999.9  000000
007026 99999  20170210    46.9 11    19.4 11  9999.9  0  9999.9  0    6.2 11    3.6 11    8.0   13.0    53.6*   35.6*  0.00I 999.9  000000
007026 99999  20170211    54.4 24    35.0 24  9999.9  0  9999.9  0    6.2 24    4.7 24   12.0   21.0    77.0*   42.8*  0.00I 999.9  000000
007026 99999  20170212    70.3 24    52.9 24  9999.9  0  9999.9  0    6.2 24    5.2 24   15.0   21.0    84.2*   62.6*  0.00I 999.9  000000
007026 99999  20170213    61.1 22    35.4 22  9999.9  0  9999.9  0    6.2 22    8.9 22   15.0   24.1    75.2*   50.0*  0.00I 999.9  000000

6.5.2 准备数据

（1）下载数据文件到其中一个节点

[root@node1 ~]# ls
anaconda-ks.cfg  cite75_99.txt  hadoop-2.7.3.tar.gz  jdk-8u112-linux-x64.tar.gz  rs.txt  word1.txt  wordcount.jar

（2）上传数据库文件到ＨDFS

[root@node1 ~]# hdfs dfs -mkdir -p temperature/input
[root@node1 ~]#  hdfs dfs -put temperature.txt temperature/input
[root@node1 ~]# hdfs dfs -ls temperature/input
Found 1 items
-rw-r--r--   3 root supergroup   46337829 2017-06-01 09:31 temperature/input/temperature.txt
[root@node1 ~]#

6.5.3 求解最高温度

package cn.hadron.mrDemo;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.*;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;
import org.apache.hadoop.mapreduce.Reducer;
public class MaxTemperature extends Configured implements Tool {
    //Mapper
    public static class MaxTemperatureMapper extends Mapper< LongWritable, Text, Text, IntWritable> {
        //9999代码表示缺失
        private static final int MISSING = 9999;
        @Override 
        public void map(LongWritable key, Text value, Context context) 
                throws IOException, InterruptedException {
            String line = value.toString();
            String year = line.substring(15, 19);
            int airTemperature;
            if(line.charAt(87) == '+') {
                airTemperature = Integer.parseInt(line.substring(88, 92));
            } else {
                airTemperature = Integer.parseInt(line.substring(87, 92));
            }
            String quality = line.substring(92, 93);
            if(airTemperature != MISSING && quality.matches("[01459]")) {
                context.write(new Text(year), new IntWritable(airTemperature));
            } 
        }
    }
    //Reducer
    public static class MaxTemperatureReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
        @Override
        public void reduce(Text key, Iterable<IntWritable> values, Context context) 
                throws IOException, InterruptedException {
            int maxValue = Integer.MIN_VALUE;
            for (IntWritable value : values) {  
                maxValue = Math.max(maxValue, value.get());  
            }  
            context.write(key, new IntWritable(maxValue));  
        }
    }
    @Override
    public int run(String[] args) throws Exception {
        Configuration conf = getConf(); //读取配置文件
        conf.set("fs.defaultFS", "hdfs://192.168.80.131:9000");
        Job job = Job.getInstance(conf, "MaxTemperature");
        job.setJarByClass(MaxTemperature.class);
        Path in = new Path(args[0]);//输入路径
        Path out = new Path(args[1]);//输出路径
        FileSystem hdfs = out.getFileSystem(conf);
        if (hdfs.isDirectory(out)) {//如果输出路径存在就删除
            hdfs.delete(out, true);
        }
        FileInputFormat.setInputPaths(job, in);//文件输入
        FileOutputFormat.setOutputPath(job, out);//文件输出
        job.setMapperClass(MaxTemperatureMapper.class);
        job.setReducerClass(MaxTemperatureReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        return job.waitForCompletion(true)?0:1;//等待作业完成退出   
    }
    public static void main(String[] args){
        System.setProperty("HADOOP_USER_NAME", "root");
        try {
            //程序参数：输入路径、输出路径
            String[] args0 ={"/user/root/temperature/input","/user/root/temperature/output/"};
            //本地运行：第三个参数可通过数组传入，程序中设置为args0
            //集群运行：第三个参数可通过命令行传入，程序中设置为args
            //这里设置为本地运行，参数为args0
            int res = ToolRunner.run(new Configuration(), new MaxTemperature(), args0);
            System.exit(res);
        } catch (Exception e) {
            e.printStackTrace();
        }       
    }
}

在Eclipse中直接运行 
这里写图片描述

输出同统计结果

[root@node1 ~]# hdfs dfs -cat /user/root/temperature/output/part-r-00000
1971    400
1972    411
1973    430

6.5.4 最低温度

package cn.hadron.mrDemo;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.*;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;
import org.apache.hadoop.mapreduce.Reducer;
public class MinTemperature extends Configured implements Tool {
    //Mapper
    public static class MinTemperatureMapper extends Mapper< LongWritable, Text, Text, IntWritable> {
        private static final int MISSING = 9999;
        @Override 
        public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            String line = value.toString();
            String year = line.substring(15, 19);
            int airTemperature;
            if(line.charAt(87) == '+') {
                airTemperature = Integer.parseInt(line.substring(88, 92));
            } else {
                airTemperature = Integer.parseInt(line.substring(87, 92));
            }
            String quality = line.substring(92, 93);
            if(airTemperature != MISSING && quality.matches("[01459]")) {
                context.write(new Text(year), new IntWritable(airTemperature));
            }
        }
    }
    //Reducer
    public static class MinTemperatureReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
        @Override
        public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {

            int minValue = Integer.MAX_VALUE;
            for(IntWritable value : values) {
                minValue = Math.min(minValue, value.get());
            }
            context.write(key, new IntWritable(minValue));
        }
    }
    @Override
    public int run(String[] args) throws Exception {
        Configuration conf = getConf(); //读取配置文件
        conf.set("fs.defaultFS", "hdfs://192.168.80.131:9000");
        Job job = Job.getInstance(conf, "Min temperature");
        job.setJarByClass(MinTemperature.class);
        Path in = new Path(args[0]);//输入路径
        Path out = new Path(args[1]);//输出路径
        FileSystem hdfs = out.getFileSystem(conf);
        if (hdfs.isDirectory(out)) {//如果输出路径存在就删除
            hdfs.delete(out, true);
        }
        FileInputFormat.setInputPaths(job, in);//文件输入
        FileOutputFormat.setOutputPath(job, out);//文件输出

        job.setMapperClass(MinTemperatureMapper.class);
        job.setReducerClass(MinTemperatureReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        return job.waitForCompletion(true)?0:1;//等待作业完成退出   
    }
    public static void main(String[] args){
        System.setProperty("HADOOP_USER_NAME", "root");
        try {
            //程序参数：输入路径、输出路径
            String[] args0 ={"/user/root/temperature/input","/user/root/temperature/output/"};
            //本地运行：第三个参数可通过数组传入，程序中设置为args0
            //集群运行：第三个参数可通过命令行传入，程序中设置为args
            //这里设置为本地运行，参数为args0
            int res = ToolRunner.run(new Configuration(), new MinTemperature(), args0);
            System.exit(res);
        } catch (Exception e) {
            e.printStackTrace();
        }       
    }
}

这里写图片描述

[root@node1 ~]# hdfs dfs -cat /user/root/temperature/output/part-r-00000
1971    -461
1972    -267
1973    -390

6.5.5 平均温度

import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.*;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;


import org.apache.hadoop.mapreduce.Reducer;
public class AvgTemperature extends Configured implements Tool{
    //Mapper
    public static class AvgTemperatureMapper extends Mapper<LongWritable, Text, Text, Text> {
        private static final int MISSING = 9999;
        @Override
        public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException{
            String line = value.toString();
            String year = line.substring(15, 19);
            int airTemperature;
            if(line.charAt(87) == '+') {
                airTemperature = Integer.parseInt(line.substring(88, 92));
            } else {
                airTemperature =  Integer.parseInt(line.substring(87, 92));
            }
            String quality = line.substring(92, 93);
            if(airTemperature != MISSING && !quality.matches("[01459]")) {
                context.write(new Text(year), new Text(String.valueOf(airTemperature)));
                //System.out.println("Mapper输出<" +year + "," + airTemperature + ">");
            }
        }
    }
    //对于平均值而言，各局部平均值的平均值将不再是整体的平均值了，所以不能直接用combiner。
    //可以通过变通的办法使用combiner来计算平均值，即在combiner的键值对中不直接存储最后的平均值，
    //而是存储所有值的和个数，最后在reducer输出时再用和除以个数得到平均值。
    //Combiner
    public static class AvgTemperatureCombiner extends Reducer<Text, Text, Text, Text>{
        @Override
        public void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
            System.out.println("....AvgTemperatureCombiner.... ");
            double sumValue = 0;
            long numValue = 0;
            for(Text value : values) {
                sumValue += Double.parseDouble(value.toString());
                numValue ++;
            }
            context.write(key, new Text(String.valueOf(sumValue) + ',' + String.valueOf(numValue)));
            System.out.println("Combiner输出键值对<" + key + "," +sumValue+ ","+numValue+">");
        }
    }
    //java.lang.NoSuchMethodException: temperature.AvgTemperature$AvgTemperatureReducer.<init>()
    //Mapper和Reducer作为内部类必须是静态static
    //Reducer
    public static class AvgTemperatureReducer extends Reducer<Text, Text, Text, IntWritable>{
        @Override
        public void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
            System.out.println("....AvgTemperatureReducer.... ");
            double sumValue = 0;
            long numValue = 0;
            int avgValue = 0;
            for(Text value : values) {
                String[] valueAll = value.toString().split(",");
                sumValue += Double.parseDouble(valueAll[0]);
                numValue += Integer.parseInt(valueAll[1]);
            }
            avgValue  = (int)(sumValue/numValue);
            context.write(key, new IntWritable(avgValue));
        }
    }
    @Override
    public int run(String[] args) throws Exception {
        Configuration conf = getConf(); //读取配置文件
        conf.set("fs.defaultFS", "hdfs://192.168.11.81:9000");
        Job job = new Job(conf,"Avg Temperature");
        job.setJarByClass(AvgTemperature.class);
        Path in = new Path(args[0]);//输入路径
        Path out = new Path(args[1]);//输出路径
        FileSystem hdfs = out.getFileSystem(conf);
        if (hdfs.isDirectory(out)) {//如果输出路径存在就删除
            hdfs.delete(out, true);
        }
        FileInputFormat.setInputPaths(job, in);//文件输入
        FileOutputFormat.setOutputPath(job, out);//文件输出
        job.setMapperClass(AvgTemperatureMapper.class);
        job.setCombinerClass(AvgTemperatureCombiner.class);
        job.setReducerClass(AvgTemperatureReducer.class);
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(Text.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        return job.waitForCompletion(true)?0:1;//等待作业完成退出   
    }
    public static void main(String[] args){
        System.setProperty("HADOOP_USER_NAME", "root");
        try {
            String[] args0 ={"/user/root/temperature/input","/user/root/temperature/output/"};
            int res = ToolRunner.run(new Configuration(), new AvgTemperature(), args0);
            System.exit(res);
        } catch (Exception e) {
            e.printStackTrace();
        }       
    }
}

这里写图片描述

[root@node1 ~]# hdfs dfs -cat /user/root/temperature/output/part-r-00000
17/03/04 04:13:21 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
1971    69
1972    147
1973    176
autumnLemon
关注
  • 1
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
MapReduce实现每年的每月前两天温度最高排序
li93675的博客
07-16 1883
温度数据： 1949-10-01 14:21:02 34c 1949-10-02 14:01:02 36c 1950-01-01 11:21:02 32c 1950-10-01 12:21:02 37c 1951-12-01 11:21:02 23c 1950-10-02 12:21:02 41c 1950-10-03 11:21:02 27c 1951-07-01 12:21:02 45c ...
mapreduce温度统计
li1579026891的博客
09-21 153
mapreduce温度统计 /** * 2021091732.6 * 2021091733.1 * 2021091730.2 * 2021091636.6 * 2021091622.6 * 2021091542.2 * 2021091512.1 * 2021091422.0 * 2021091432.6 */ import o
使用Hadoop分析气象数据完整版（附带完整代码）_hadoop气象数据分析(2)
最新发布
2301_77110912的博客
05-15 615
这里前端使用echart，jsp，后端使用Spring、SpringMVC、Mybatis。哇，太慢了，查了25秒，最终结果是3.46（因为数据是被放大了10倍）左右。主要是这一段，使用Ajax向后台请求数据，然后将数据丢进eChart中。有个问题，若直接从HDFS导入数据到Hive，HDFS上的数据会丢失。主要是原数据进行了清洗，过滤了一些不合格的数据。计算出每日温度的最大值、最小值和平均值，并放入。所以我将数据下载下来，重命名为。弄得简单，就查几个静态数据吧。代码较多，展示主要的。好了，差不多就行了。
MapReduce-求最高温度
Qi.zheng
12-17 2527
学习hadoop以及工作快两年了，刚开始自学的时候，看了很多的视频、文档什么的，也没注意总结过，拿着能用就行，但学的东西越多，越觉得乱，正好趁最近工作不忙，想写一点Mapreduce的程序，第一为了给自己回顾一下以前的知识，第二也是想给如果能对新入门的同学有一点帮忙那也是很好的，这里的写大部分，程序都是来自一些教学视频，以及一些书籍中的实例，但都通过自己实践可行，也同进加入了一些自己的见解。目的是
mapreduce版温度分析
weixin_30408739的博客
07-10 138
mapreduce版温度分析 该数据集包括1901.01全部气温数据，数据样本： 0029029070999991901010106004+64333+023450FM-12+000599999V0202701N015919999999N0000001N9-00781+99999102001ADDGF108991999999999999999999求每天气温前两高的记录https://gith...
3.3 Hadoop-MapReduce，统计温度
心雨先生
05-21 671
统计一年最高温度的三个月工程结构：WeatherKey：package com.test.weather;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.WritableComparable;public class WeatherKe...
hadoop-mapreduce-client-jobclient-2.6.5-API文档-中文版.zip
05-01
赠送jar包：hadoop-mapreduce-client-jobclient-2.6.5.jar； 赠送原API文档：hadoop-mapreduce-client-jobclient-2.6.5-javadoc.jar； 赠送源代码：hadoop-mapreduce-client-jobclient-2.6.5-sources.jar； 赠送...
高级软件人才培训专家-Hadoop课程资料-3-第三章 - MapReduce & YARN入门
03-10
高级软件人才培训专家_Hadoop课程资料_3-第三章 - MapReduce & YARN入门
hadoop-mapreduce-client-common-2.6.5-API文档-中英对照版.zip
04-19
赠送jar包：hadoop-mapreduce-client-common-2.6.5.jar； 赠送原API文档：hadoop-mapreduce-client-common-2.6.5-javadoc.jar； 赠送源代码：hadoop-mapreduce-client-common-2.6.5-sources.jar； 赠送Maven依赖信息...
Hadoop课程设计-基于Java和mapreduce实现的贝叶斯文本分类器设计
10-07
在本Hadoop课程设计中，我们将探讨如何使用Java编程语言和MapReduce框架来实现一个贝叶斯文本分类器。这个项目旨在让学生理解大数据处理的基本原理，以及如何利用Hadoop生态系统来解决实际问题，特别是文本分类任务...
Hadoop-2.8.0-Day05-MapReduce编程-课件与资料.zip
04-30
在大数据处理领域，Hadoop MapReduce 是一个至关重要的组件，尤其在Hadoop 2.8.0这个版本中，它提供了强大的分布式计算能力。MapReduce是Google提出的一种编程模型，用于大规模数据集（大于1TB）的并行计算。本资料...
hadoop气象数据
04-27
资源分不能设置为0，抱歉了，大家可以留言邮箱我发你，如果会员请下载下提供2分，git免费地址在下: https://github.com/tomwhite/hadoop-book/tree/master/input/ncdc/all
【入门】温度统计？
XTX54188的博客
03-31 410
气象台发布了未来n天的温度预报。请你编程帮助老师计算一下，未来n天最高温度和最低温度的差值是多少？第2行输出第几天温度最低，如果有多天温度都是最低的，那么都要输出（多个数用空格隔开）。第1行有1个整数，代表最高问题和最低温度的差值。第2行有n个整数，代表未来n天的天气。第1行有一个整数n（n
hadoop2.6温度统计mapreduce程序
mim的博客
04-12 836
初涉hadoop,在看完hadoop温度统计例子后，记下自己的理解，搭建hadoop集群可以参考给力星的博客 数据格式如下： 1949-10-01 14:21:01 34°C 1949-10-02 14:21:01 36°C 1950-01-01 11:21:01 32°C 1950-10-01 12:21:01 37°C 1951-12-01 12:21:01 23°C 1950-1
MapReduce之气温计算
Star-Technology
05-27 451
Step 1： 导入Hadoop和Mapreduce的所有jar包Step 2：WeatherMapperpublic class WeatherMapper extends Mapper<Text, Text, MyKey, Text>{ @Override protected void map(Text key, Text value, Context c
MapReduce计算气温原始数据
CC
12-28 914
/** 1.根据天气的原始数据，通过截取的方式，找出需要的天气 2.截取指定字符串的天气 */ 数据下载 package com.bipt.model.wether; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configure...
MapReduce经典案例 -------- 统计最高温度
Z_Data的博客
11-09 2634
需求：求给定日期的最高温度 待处理数据内容： ​ 201701082.6 ​ 201701066 ​ 2017020810 ​ 2017030816.33 ​ 2017060833.0 每一行的前8位是日期，从第8位往后是温度 代码 import java.io.IOException; import org.apache.hadoop.conf.Configuration; ...
Hadoop入门（十五）Mapreduce的数据排序程序
茅坤宝骏氹的博客
10-13 724
"数据排序"是许多实际任务执行时要完成的第一项工作，比如学生成绩评比、数据建立索引等。这个实例和数据去重类似，都是先对原始数据进行初步处理，为进一步的数据操作打好基础 1 实例描述 对输入文件中数据进行排序。输入文件中的每行内容均为一个数字，即一个数据。要求在输出中每行有两个间隔的数字，其中，第一个代表原始数据在原始数据集中的位次，第二个代表原始数据。 样例输入如下所示： 1）file1 ...
【图文解析 】MapReduce 示例程序编写及编码规范
谦卑t
11-14 828
上一步，我们查看了 WordCount 这个 MapReduce 程序的源码编写，可以得出几点结论： 1、 该程序有一个 main 方法，来启动任务的运行，其中 job 对象就存储了该程序运行的必要 信息，比如指定 Mapper 类和 Reducer 类 job.setMapperClass(TokenizerMapper.class); job.setReducerClass(IntSumRe...
大数据从入门到实战 - 第3章 mapreduce基础实战
06-06
第三章 "MapReduce基础实战" 包括对MapReduce框架的基本概念和使用方法的详细讲解。在本章中，读者将学习如何使用MapReduce处理大数据，包括如何编写Map和Reduce函数，如何配置Hadoop集群，以及如何使用常用工具（如...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值