MapReduce 编程系列八根据输入路径产生输出路径和清除HDFS目录

最新推荐文章于 2022-08-07 18:17:30 发布

炼气散人

最新推荐文章于 2022-08-07 18:17:30 发布

阅读量4.4k

点赞数

分类专栏： # Hadoop 文章标签： hadoop mapreduce

本文链接：https://blog.csdn.net/csfreebird/article/details/39740807

版权

这篇博客介绍了如何在MapReduce中利用MultipleOutputs根据输入目录生成输出路径，并确保计算的可重入性，通过删除已存在的输出目录。程序设置了一个NamedOutput，名为result，输出路径在输入目录后附加'/output'.

摘要由CSDN通过智能技术生成

有了前面的MultipleOutputs的使用经验，就可以将HDFS输入目录的路径解析出来，组成输出路径，这在业务上是十分常用的。这样其实是没有多文件名输出，仅仅是调用了MultipleOutputs的addNamedOutput方法一次，设置文件名为result.

同时为了保证计算的可重入性，每次都需要将已经存在的输出目录删除。

先看pom.xml，现在参数只有一个输入目录了，输出目录会在该路径后面自动加上/output.

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>org.freebird</groupId>
  <artifactId>mr1_example3</artifactId>
  <packaging>jar</packaging>
  <version>1.0-SNAPSHOT</version>
  <name>mr1_example3</name>
  <url>http://maven.apache.org</url>
  <dependencies>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-core</artifactId>
      <version>1.2.1</version>
    </dependency>
  </dependencies>
  <build>
    <plugins>
      <plugin>
        <groupId>org.codehaus.mojo</groupId>
        <artifactId>exec-maven-plugin</artifactId>
        <version>1.3.2</version>
        <executions>
          <execution>
            <goals>
              <goal>exec</goal>
            </goals>
          </execution>
        </executions>
        <configuration>
          <executable>hadoop</executable>
          <arguments>
            <argument>jar</argument>
            <argument>target/mr1_example3-1.0-SNAPSHOT.jar</argument>
            <argument>org.freebird.LogJob</argument>
            <argument>/user/chenshu/share/logs</argument>
          </arguments>
        </configuration>
      </plugin>
    </plugins>
  </build>
</project>

LogJob.java做了修改，主要用Path, FileSystem和Configuration三个类配合，删除HDFS已经存在的目录。

并且只设置了一个NamedOutput，名为result.

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.freebird.reducer.LogReducer;
import org.freebird.mapper.LogMapper;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.MultipleOutputs;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.fs.FileSystem;
import java.io.IOException;



public class LogJob {