Hadoop学习3-Macbook环境在IDEA中编写MapReduce程序
新建一个Maven项目
不用说了,普通的Maven项目就行。
加入Hadoop依赖
其中的${hadoop.version}对应自己使用的Hadoop版本
- hadoop-client
<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client -->
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>${hadoop.version}</version>
</dependency>
- log4j
<!-- https://mvnrepository.com/artifact/log4j/log4j -->
<dependency>
<groupId>log4j</groupId>
<artifactId>log4j</artifactId>
<version>1.2.17</version>
</dependency>
log4j的配置文件放到resources下面,名为log4j.properties。
log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d{ABSOLUTE} | %-5.5p | %-16.16t | %-32.32c{1} | %-32.32C %4L | %m%n
- 要想使Maven打成的jar包,可以直接拿到namenode上用hadoop jar 命令跑,需要在Maven中加一个插件
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-shade-plugin</artifactId>
<version>1.2.1</version>
<executions>
<execution>
<phase>package</phase>
<goals>
<goal>shade</goal>
</goals>
<configuration>
<transformers>
<transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
<!--程序入口类,main方法类-->
<mainClass>com.caohui.hadoop.mapreduce.Main</mainClass>
</transformer>
</transformers>
</configuration>
</execution>
</executions>
</plugin>
</plugins>
</build>
加入hadoop配置文件
将namenode下面的hadoop的以下几个配置文件拷贝到resources中,一个都不能少,否则会报错。
- core-site.xml
- hdfs-site.xml
- mapred-site.xml
- yarn-site.xml
编写测试MapReduce程序
测试程序非常简单,如下文件price.txt
北京 1
北京 2
北京 1
北京 2
北京 1
北京 2
北京 1
北京 2
北京 1
北京 2
北京 1
北京 2
杭州 1
杭州 2
杭州 1
杭州 2
杭州 1
杭州 2
杭州 1
统计这个文件中北京的数字之和和杭州的数字之和。
- HousePriceMapper.java
package com.caohui.hadoop.mapreduce;
import org.apache.hadoop.io