Hadoop学习之MapReduce（WordCount实例）心得

WordCount案例

需求：给定的文本文件中统计输出每一个单词出现的总次数

1.配置环境变量 HADOOP_HOME、JAVA_HOME，并将其放入在PATH路径中

2.在IDEA上新建maven工程并设置maven的目录

3.配置所需要的依赖 

pom.xml文件中添加：

<dependencies>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>3.1.3</version>
    </dependency>
    <dependency>
        <groupId>junit</groupId>
        <artifactId>junit</artifactId>
        <version>4.12</version>
    </dependency>
    <dependency>
        <groupId>org.slf4j</groupId>
        <artifactId>slf4j-log4j12</artifactId>
        <version>1.7.30</version>
    </dependency>
</dependencies>

<build>
    <plugins>
        <plugin>
            <artifactId>maven-compiler-plugin</artifactId>
            <version>3.6.1</version>
            <configuration>
                <source>1.8</source>
                <target>1.8</target>
            </configuration>
        </plugin>
        <plugin>
            <artifactId>maven-assembly-plugin</artifactId>
            <configuration>
                <descriptorRefs>
                    <descriptorRef>jar-with-dependencies</descriptorRef>
                </descriptorRefs>
            </configuration>
            <executions>
                <execution>
                    <id>make-assembly</id>
                    <phase>package</phase>
                    <goals>
                        <goal>single</goal>
                    </goals>
                </execution>
            </executions>
        </plugin>
    </plugins>
</build>

配置日志文件，src/main/resources下新建 log4j.properties 后写入：

log4j.rootLogger=INFO, stdout

log4j.appender.stdout=org.apache.log4j.ConsoleAppender

log4j.appender.stdout.layout=org.apache.log4j.PatternLayout

log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n

log4j.appender.logfile=org.apache.log4j.FileAppender

log4j.appender.logfile.File=target/spring.log

log4j.appender.logfile.layout=org.apache.log4j.PatternLayout

log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

4.编写Mapper、Reducer、Driver类：（导包细心，防止出错  mapreduce）

    Mapper类：继承Mapper类之后对应好相应的泛型；重写map方法；先获取一行，进行切割后循环写出。

                      （注意写出的时候类型的不一致需要封装，其次考虑节省内存）

    Reducer类：继承Reducer类之后对应好相应的泛型；重写reducer方法；将传入进来的数据进行累加之后写出。

    Driver类：main方法中通过7步来完成：1.获取job   2.设置jar包的路径（Driver类）. 3.关联mapper和reducer（自己所写的类）

                                                                       4.设置map输出的KV类型   5.设置最终输出的KV类型   6.设置输入和输出路径   7.提交job

5.将maven的jar包下载后传送至hadoop集群中，确认hadoop集群启动

6.在集群中运行（在集群可视化界面确认输入文件以及输出文件，监控任务运行情况可进行观测）

补充：在企业中运行jar包过多则需要编写脚本来执行