一些hadoop入门小demo

最新推荐文章于 2024-08-08 10:34:27 发布

IT独白者

最新推荐文章于 2024-08-08 10:34:27 发布

阅读量5.4k

点赞数 1

分类专栏： hadoop

本文链接：https://blog.csdn.net/sun_wangdong/article/details/63687757

版权

本文是作者学习Hadoop的初步尝试，通过一个简单的小demo演示如何使用Hadoop找出给定文件中每年的最高气温。作者首先创建了一个Maven项目，配置了必要的依赖，然后编写了TempMapper和TempReducer类，分别处理map和reduce任务。在map阶段，从输入文本中提取年份和温度，reduce阶段则集中相同年份的气温并找出最高值。整个过程突出了Hadoop的map/reduce架构，强调在map阶段仅处理数据格式，而在reduce阶段进行聚合操作。最后，作者指出map输出可以在Hadoop的日志文件中找到。

摘要由CSDN通过智能技术生成

lz最近在研究hadoop，刚在入门阶段，对一些高深的知识点还不在行，但是我希望能够通过自己点点滴滴的学习总结，在日复一日的过程中，逐渐积累相关的学习经验，从而能够逐步成为hadoop方面、spark甚至是大数据方面的专家。

那么只能先从一些小的demo开始学些，这里要介绍的一个小demo是在给定的一个文件中，求出每年的最高气温。

这里的数据，前4位表示的是年份，中间四位表示的是月和日，最后两位表示的是当天的温度。那么现在要利用hadoop来实现在这些所有的日期里的温度，选取最高的温度。

首先，通过新建一个maven项目，那么需要更新pom.xml文件，写入依赖的jar包。

<dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.7.1</version>
        </dependency>
        <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-hdfs</artifactId>
        <version>2.7.1</version>
    </dependency>
        <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-mapreduce-client-core</artifactId>
        <version>2.7.1</version>
    </dependency>
        <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-mapreduce-client-common</artifactId>
        <version>2.7.1</version>
    </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <art