Mapreduce本地运行模式WordCount（Windows环境）

最新推荐文章于 2023-10-09 08:11:04 发布

蓝色水彼

最新推荐文章于 2023-10-09 08:11:04 发布

阅读量1.2k

点赞数

分类专栏： mapreduce

本文链接：https://blog.csdn.net/xingyx1990/article/details/91396128

版权

本文详细介绍了如何在Windows环境下配置MapReduce的本地运行模式，包括基础环境配置和代码数据准备。通过本地模式，可以简化程序的调试过程，避免了打包、上传和数据准备到HDFS的复杂步骤。内容涵盖了环境配置的四个步骤，以及Mapper、Reducer、Driver代码的编写，并指导在maven工程中设置输入和输出路径。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本地运行模式将给mapreduce程序编写与调试带来极大遍历，不然还要打包、上传、数据准备到hdfs等多步骤，很是耗时。这里的本地是程序在本地运行，同时输入数据和输入数据也是在本地。同时还可以进行断点debug。

一、基础环境配置

要在本地运行，需要配置windows所需的运行库，步骤如下：

1、下载解压hadoop-common-2.6.0-bin-master

我的路径是：D:\installs\hadoop-common-2.6.0-bin-master

下载链接：https://github.com/steveloughran/winutils

2、将路径配置到环境变量

3、将bin添加到Path

4、将bin中的hadoop.dll复制到C:\Windows\System32

二、代码及数据

Mapper

package com.bigdata.train.practice.wordcount;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

/**
 * @ Author:
 * @ Description:
 * @ Date:17:57 2019/6/10
 */
public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        String[] words = value.t

最低0.47元/天解锁文章