Hadoop学习3-Macbook环境在IDEA中编写MapReduce程序

Hadoop学习3-Macbook环境在IDEA中编写MapReduce程序

新建一个Maven项目

不用说了，普通的Maven项目就行。

加入Hadoop依赖

其中的${hadoop.version}对应自己使用的Hadoop版本

• hadoop-client

<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client -->
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>${hadoop.version}</version>
</dependency>

• log4j

<!-- https://mvnrepository.com/artifact/log4j/log4j -->
<dependency>
    <groupId>log4j</groupId>
    <artifactId>log4j</artifactId>
    <version>1.2.17</version>
</dependency>

log4j的配置文件放到resources下面，名为log4j.properties。

log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d{ABSOLUTE} | %-5.5p | %-16.16t | %-32.32c{1} | %-32.32C %4L | %m%n

• 要想使Maven打成的jar包，可以直接拿到namenode上用hadoop jar 命令跑，需要在Maven中加一个插件

<build>
    <plugins>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-shade-plugin</artifactId>
            <version>1.2.1</version>
            <executions>
                <execution>
                    <phase>package</phase>
                    <goals>
                        <goal>shade</goal>
                    </goals>
                    <configuration>
                        <transformers>
                            <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                                <!--程序入口类，main方法类-->
                               <mainClass>com.caohui.hadoop.mapreduce.Main</mainClass>
                            </transformer>
                        </transformers>
                    </configuration>
                </execution>
            </executions>
        </plugin>
    </plugins>
</build>

加入hadoop配置文件

将namenode下面的hadoop的以下几个配置文件拷贝到resources中，一个都不能少，否则会报错。

• core-site.xml
• hdfs-site.xml
• mapred-site.xml
• yarn-site.xml

编写测试MapReduce程序

测试程序非常简单，如下文件price.txt

北京 1
北京 2
北京 1
北京 2
北京 1
北京 2
北京 1
北京 2
北京 1
北京 2
北京 1
北京 2
杭州 1
杭州 2
杭州 1
杭州 2
杭州 1
杭州 2
杭州 1

统计这个文件中北京的数字之和和杭州的数字之和。

• HousePriceMapper.java

package com.caohui.hadoop.mapreduce;

import org.apache.hadoop.io