【大数据】什么是 Hadoop Job？

作为一名大数据开发工程师，让我用通俗易懂的语言来解释 Hadoop 作业（Job）的使用。

什么是 Hadoop Job？

在 Hadoop 中，Job 是一种工作任务的抽象，它包含了一系列要处理的数据文件以及用于处理这些文件的计算逻辑。Hadoop Job 可以帮助我们处理和分析大量数据，比如日志文件、数据库记录等。

使用 Hadoop Job 的步骤

我们通常通过以下几个步骤来使用 Hadoop Job：

1. 配置作业：

   • 首先，我们需要创建一个配置对象，这个对象包含了作业需要的一些配置信息。
   • 例如，我们需要告诉 Hadoop 作业的数据文件在哪里，结果应该输出到哪里。

2. 创建作业实例：

   • 我们使用刚才的配置对象来创建一个作业实例。这个实例将管理作业的执行。

3. 设置作业属性：

   • 我们需要告诉作业用哪个类来处理数据。这通常包括：
     • Mapper 类： 负责处理数据的每一行。比如从日志文件中提取有用的信息。
     • Reducer 类（可选）： 负责汇总处理结果。如果不需要汇总，可以设置为 0。

4. 设置输入和输出路径：

   • 我们需要指定数据文件的路径（输入路径）和结果文件的存储路径（输出路径）。

5. 提交作业并等待完成：

   • 最后，我们提交作业并等待它完成。作业完成后，我们可以查看结果文件或者统计信息。

示例讲解

假设我们有一个日志文件，想统计每个不同 IP 地址的访问次数。我们可以通过以下步骤来创建并运行一个 Hadoop Job：

public static void main(String[] args) throws Exception {
    // 1. 配置作业
    String input = "data/user-access.log"; // 输入文件路径
    String output = "out"; // 输出目录路径
    Configuration configuration = new Configuration();

    // 2. 创建作业实例
    Job job = Job.getInstance(configuration);

    // 3. 设置作业属性
    job.setJarByClass(DataCleanApp.class); // 设置包含 main 方法的类
    job.setMapperClass(MyMapper.class); // 设置 Mapper 类
    job.setNumReduceTasks(0); // 不使用 Reducer

    // 4. 设置 Mapper 输出键和值的类型
    job.setMapOutputKeyClass(Text.class);
    job.setMapOutputValueClass(NullWritable.class);

    // 5. 设置输入和输出路径
    TextInputFormat.setInputPaths(job, new Path(input));
    FileOutputFormat.setOutputPath(job, new Path(output));

    // 6. 提交作业并等待完成
    boolean result = job.waitForCompletion(true);

    // 打印作业结果
    if (result) {
        System.out.println("作业成功完成！");
    } else {
        System.out.println("作业失败！");
    }

    // 7. 根据作业结果退出程序，成功返回 0，失败返回 1
    System.exit(result ? 0 : 1);
}

详细解释

1. 配置作业：

   • 我们定义了输入和输出路径，并创建了一个 Configuration 对象，它包含了作业需要的一些配置信息。

2. 创建作业实例：

   • 我们使用 Job.getInstance(configuration) 创建了一个作业实例，这个实例会管理作业的执行。

3. 设置作业属性：

   • job.setJarByClass(DataCleanApp.class) 告诉 Hadoop 这个作业的主类是哪一个。
   • job.setMapperClass(MyMapper.class) 设置了作业的 Mapper 类，它会处理数据的每一行。
   • job.setNumReduceTasks(0) 表示我们不使用 Reducer。

4. 设置 Mapper 输出键和值的类型：

   • job.setMapOutputKeyClass(Text.class) 和 job.setMapOutputValueClass(NullWritable.class) 设置了 Mapper 输出的键和值的类型。

5. 设置输入和输出路径：

   • TextInputFormat.setInputPaths(job, new Path(input)) 设置了数据文件的路径。
   • FileOutputFormat.setOutputPath(job, new Path(output)) 设置了结果文件的存储路径。

6. 提交作业并等待完成：

   • job.waitForCompletion(true) 提交作业并等待它完成，返回值表示作业是否成功。

7. 根据作业结果退出程序：

   • System.exit(result ? 0 : 1) 根据作业结果退出程序，成功返回 0，失败返回 1。

通过这些步骤，我们就完成了一个简单的 Hadoop 作业，它可以处理大量数据并生成我们需要的结果。