【Hadoop】12.MapReduce框架原理-hadoop数据压缩

最新推荐文章于 2021-08-16 22:42:27 发布
最新推荐文章于 2021-08-16 22:42:27 发布
阅读量285 收藏 1
点赞数
分类专栏： hadoop 文章标签： hadoop mapredcue 压缩
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sdut406/article/details/90902778
版权
压缩概述

压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在运行MR程序时，IO操作，网络数据传输，shuffle和merge都要花费大量的时间，尤其是数据规模很大和工作负载密集的情况下，因此使用数据压缩显的非常重要。
鉴于磁盘IO和网络带宽是hadoop的宝贵资源，**数据压缩对于节省资源，最小化磁盘IO和网络传输非常有帮助。可以在任意MapReduce阶段启用压缩。**不过，尽管压缩与解压操作的CPU开销不高，其性能的提升和资源的节省并非没有代价。

压缩策略和原则

压缩是提高Hadoop运行效率的一种优化策略。
通过对Mapper，Reduce运行过程的数据进行压缩，以减少磁盘IO，提高MR程序裕兴速度。
注意：采用压缩技术减少了磁盘IO，但同时增加了CPU运算负担。所以，压缩特性运用得当能提高性能，但运用不当也可能降低性能。

压缩基本原则
  1. 运算密集型的job，少用压缩
  2. IO密集型的job，多用压缩
MR支持的压缩编码
压缩格式是否hadoop自带算法文件扩展名是否可切分换成压缩格式后，原程序是否需要修改
DEFLATE是，直接使用DEFLATE.deflate否和文本处理一样，不需要修改
Gzip是，直接使用DEFLATE.gz否和文本处理一样，不需要
bzip2是，直接使用bzip2.bz2是和文本处理一样，不需要修改
LZO否，需要安装LZO.lzo是需要建索引，还需要指定输出格式
Snappy否，需要安装Snappy.snappy否和文本修改一样，不需要修改

为了支持多种压缩或者解压算法，Hadoop引入了编码/解码器，如下图：

压缩格式对应的编码/解码器
DEFLATEorg.apache.hadoop.io.compress.DefaultCodec
gziporg.apache.hadoop.io.compress.GzipCodec
bzip2org.apache.hadoop.io.compress.BZip2Codec
LZOcom.hadoop.compression.lzo.LzopCodec
Snappyorg.apache.hadoop.io.compress.SnappyCodec

压缩性能比较：

压缩速度：Snappy>LZO>gzip>bzip2
解压速度：Snappy》LZO>gzip>bzip2
比较图：

压缩算法原始文件大小压缩文件大小压缩速度解压速度
gzip8.3G1.8G17.5M/s58M/s
bzip28.3G1.1G2.4M/s9.5M/s
LZO8.3G2.9G49.3M/s74.6M/s

Snappy的 压缩，解压分别能达到250M/s和500M/s，但是压缩效率不是很高

压缩方式的选择
  1. Gzip
    优点：压缩率比较高，而且压缩、解压速度也比较快；hadoop本身支持，在应用处理Gzip格式的文件就和直接处理文本一样；大部分；linux都自带了Gzip，使用方便
    缺点：不支持split
    应用场景：当每个文件压缩之后再130M以内（单块大小），都可以考虑Gzip压缩。
  2. Bzip2
    优点：支持Split，居于很高的压缩率，比Gzip的压缩率高，hadoop本身自带，使用方便
    缺点：压缩/解压速度慢
    应用场景：适合对速度要求不高，但需要较高的压缩率的时候，或者输出之后的数据比较大，处理之后的数据需要压缩存档减少磁盘空间并且以后数据用得少的情况；或者对单个很大的文本文件想压缩减少存储空间，同时又需要支持Splite，而且兼容之前的应用程序的情况
  3. LZO压缩
    优点：压缩/解压速度也比较快，合理的压缩率；支持Split，是Hadoop中最流行的压缩格式；可以在Linux系统下安装LZOP命令，使用方便。
    缺点：压缩率比Gzip要低一些；hadoop本身不支持，需要安装，在应用中对Lzo的文件需要做一些特殊处理（为了支持Split需要做索引，还需要指定InputFormat的Lzo格式）
    应用场景：一个很大的文件，压缩之后还大于200M以上的可以考虑，而且单个文件越大，Lzo优点越明显。
  4. Snappy
    优点：高速的压缩速度和解压速度
    缺点：不支持Split以及比Gzip还要低的压缩率，hadoop本身不支持，需要安装。
    应用场景：当Mapreduce作业的Map输出的数据比较大的时候，作为Map和Reduce的中间数据的压缩格式；或者作为一个Mapreduce作业的输出和另外一个作业的输入。
压缩位置的选择

压缩可以在Mapreduce作用的任意阶段启用。在map的输入，我们不需要设置压缩，因为hadoop会自动根据文件后缀判断是否是压缩文件以及自动匹配到压缩编解码器。
在这里插入图片描述
压缩参数配置：
io.compression.codecs 默认是空，如果你想使用snappy压缩等非hadoop自带的压缩格式。需要在core-site.xml追加相应的类名
reduce输出SequenceFile类型的mapreduce.output.fileoutputformat.compress.type的值有三种，RECORD，NONE，BLOCK，分别是按行压缩，无，按块压缩。效率好的是按块压缩

参数默认值阶段建议
io.compression.codecs (在core-site.xml中配置)org.apache.hadoop.io.compress.DefaultCodec, org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec输入压缩Hadoop使用文件扩展名判断是否支持某种编解码器
mapreduce.map.output.compress（在mapred-site.xml中配置）falsemapper输出这个参数设为true启用压缩
mapreduce.map.output.compress.codec（在mapred-site.xml中配置）org.apache.hadoop.io.compress.DefaultCodecmapper输出企业多使用LZO或Snappy编解码器在此阶段压缩数据
mapreduce.output.fileoutputformat.compress（在mapred-site.xml中配置）falsereducer输出这个参数设为true启用压缩
mapreduce.output.fileoutputformat.compress.codes（在mapred-site.xml中配置）（在mapred-site.xml中配置）org.apache.hadoop.io.compress.DefaultCodecreducer输出使用标准工具或者编解码器，如gzip和bzip2
mapreduce.output.fileoutputformat.compress.type（在mapred-site.xml中配置）（在mapred-site.xml中配置）RECORDreducer输出SequenceFile输出使用的压缩类型：NONE和BLOCK和RECORD
压缩操作实例
压缩示例

示例文件：
在这里插入图片描述
代码：

package com.xing.MapReduce.CompressDemo;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.compress.CompressionCodec;
import org.apache.hadoop.io.compress.CompressionCodecFactory;
import org.apache.hadoop.io.compress.CompressionInputStream;
import org.apache.hadoop.io.compress.CompressionOutputStream;
import org.apache.hadoop.util.ReflectionUtils;

import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;

public class CompressDriver {
    public static void main(String[] args) {
        System.setProperty("hadoop.home.dir", "E:\\hadoop-2.7.1");
        try {
            // 压缩
            compress("E:\\hdfs\\data\\compress\\input\\name.txt","org.apache.hadoop.io.compress.BZip2Codec");
            // 解压缩
            decompress("E:\\hdfs\\data\\compress\\input\\name.txt.bz2");


        } catch (IOException e) {
            e.printStackTrace();
        } catch (ClassNotFoundException e) {
            e.printStackTrace();
        }
    }

    /**
     * 解压
     * @param fileName
     * @throws IOException
     * @throws ClassNotFoundException
     */
    private static void decompress(String fileName) throws IOException, ClassNotFoundException {
        // 获取编码器工厂
        CompressionCodecFactory compressionCodecFactory = new CompressionCodecFactory(new Configuration());
        // 根据文件获取解码器
        CompressionCodec codec = compressionCodecFactory.getCodec(new Path(fileName));
        if (codec == null){
            System.out.println("not support");
            return;
        }
        // 获取解压缩文件流
        CompressionInputStream inputStream1 = codec.createInputStream(new FileInputStream(fileName));
        // 获取文件输出流
        FileOutputStream outputStream1 = new FileOutputStream(fileName + ".nb");
        // 流的对拷
        IOUtils.copyBytes(inputStream1, outputStream1, 1024, false);
        // 关闭流
        IOUtils.closeStream(outputStream1);
        IOUtils.closeStream(inputStream1);
    }

    /**
     *  压缩方法
     * @param fileName
     * @param type
     * @throws IOException
     * @throws ClassNotFoundException
     */
    private static void compress(String fileName, String type ) throws IOException, ClassNotFoundException {
        // 获取文件流
        FileInputStream inputStream = new FileInputStream(fileName);
        // 获取压缩类的class
        Class codeClass = Class.forName(type);
        // 获取压缩类
        CompressionCodec codec = (CompressionCodec)ReflectionUtils.newInstance(codeClass, new Configuration());
        // 获取文件输出流
        FileOutputStream outputStream = new FileOutputStream(fileName+codec.getDefaultExtension());
        // 创建压缩输出流
        CompressionOutputStream codecOutputStream = codec.createOutputStream(outputStream);
        // 流的对拷
        IOUtils.copyBytes(inputStream,codecOutputStream , 4096,false);
        // 关闭流 由内到外
        IOUtils.closeStream(codecOutputStream);
        IOUtils.closeStream(outputStream);
        IOUtils.closeStream(inputStream);
    }
}

结果：
在这里插入图片描述

基于单词分割案例添加压缩
Map输出中间结果压缩

WordCountDriver：

// 设置中间压缩方式
configuration.setBoolean("mapreduce.map.output.compress", true);
configuration.setClass("mapreduce.map.output.compress.codec", BZip2Codec.class, CompressionCodec.class);

package com.xing.MapReduce.WordCount;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.compress.BZip2Codec;
import org.apache.hadoop.io.compress.CompressionCodec;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.CombineTextInputFormat;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.KeyValueLineRecordReader;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import java.io.IOException;

/**
 *  统计单词的Driver类
 */
public class WordCountDriver {
    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        // 获取job对象
        System.setProperty("hadoop.home.dir", "E:\\hadoop-2.7.1");
        Configuration configuration = new Configuration();

        configuration.set(KeyValueLineRecordReader.KEY_VALUE_SEPERATOR, "\t");

        // 设置中间压缩方式
        configuration.setBoolean("mapreduce.map.output.compress", true);
        configuration.setClass("mapreduce.map.output.compress.codec", BZip2Codec.class, CompressionCodec.class);


        FileSystem fs = FileSystem.get(configuration);
        //configuration.set("mapreduce.framework.name","local");
        //configuration.set("fs.defaultFS","file:///");
        Job job = Job.getInstance(configuration);




        // 设置加载类
        job.setJarByClass(WordCountDriver.class);
        // 设置map和reduce类
        job.setMapperClass(WordCountMapper.class);
        job.setReducerClass(WordCountReduce.class);

        // 设置CombineTextInputFormat
        job.setInputFormatClass(CombineTextInputFormat.class);
        CombineTextInputFormat.setMaxInputSplitSize(job,10*1024); //单位是b 字节

        // 设置mapper输出类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);

        // 设置最终输出类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        // 设置输入文件和输出文件
        FileInputFormat.setInputPaths(job,new Path("E:\\hdfs\\input\\"));
        Path outPath = new Path("E:\\hdfs\\output");
        if (fs.exists(outPath)) {
            fs.delete(outPath, true);
        }

        // 数据输出路径
        FileOutputFormat.setOutputPath(job, new Path("E:\\hdfs\\output"));
        boolean waitForCompletion = job.waitForCompletion(true);
        System.out.println(waitForCompletion);
        System.exit(waitForCompletion?0:1);

        // 命令执行MR
        // hadoop jar 目标jar包 目标类 输入路径 输出路径
        // hadoop jar **.jar  com.xing.MapReduce.WordCount.WordCountDriver 输入路径 输出路径

    }
}
Reduce输出结果压缩
// 添加reduce输出压缩
        FileOutputFormat.setCompressOutput(job,true );
        FileOutputFormat.setOutputCompressorClass(job,BZip2Codec.class );

package com.xing.MapReduce.WordCount;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.compress.BZip2Codec;
import org.apache.hadoop.io.compress.CompressionCodec;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.CombineTextInputFormat;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.KeyValueLineRecordReader;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import java.io.IOException;

/**
 *  统计单词的Driver类
 */
public class WordCountDriver {
    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        // 获取job对象
        System.setProperty("hadoop.home.dir", "E:\\hadoop-2.7.1");
        Configuration configuration = new Configuration();

        configuration.set(KeyValueLineRecordReader.KEY_VALUE_SEPERATOR, "\t");
        /*// 设置中间压缩方式
        configuration.setBoolean("mapreduce.map.output.compress", true);
        configuration.setClass("mapreduce.map.output.compress.codec", BZip2Codec.class, CompressionCodec.class);*/

        FileSystem fs = FileSystem.get(configuration);
        Job job = Job.getInstance(configuration);

        // 设置加载类
        job.setJarByClass(WordCountDriver.class);
        // 设置map和reduce类
        job.setMapperClass(WordCountMapper.class);
        job.setReducerClass(WordCountReduce.class);

        // 设置CombineTextInputFormat
        job.setInputFormatClass(CombineTextInputFormat.class);
        CombineTextInputFormat.setMaxInputSplitSize(job,10*1024); //单位是b 字节

        // 设置mapper输出类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);

        // 设置最终输出类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        // 设置输入文件和输出文件
        FileInputFormat.setInputPaths(job,new Path("E:\\hdfs\\input\\"));
        Path outPath = new Path("E:\\hdfs\\output");
        if (fs.exists(outPath)) {
            fs.delete(outPath, true);
        }

        // 数据输出路径
        FileOutputFormat.setOutputPath(job, new Path("E:\\hdfs\\output"));

        // 添加reduce输出压缩
        FileOutputFormat.setCompressOutput(job,true );
        FileOutputFormat.setOutputCompressorClass(job,BZip2Codec.class );


        boolean waitForCompletion = job.waitForCompletion(true);
        System.out.println(waitForCompletion);
        System.exit(waitForCompletion?0:1);

        // 命令执行MR
        // hadoop jar 目标jar包 目标类 输入路径 输出路径
        // hadoop jar **.jar  com.xing.MapReduce.WordCount.WordCountDriver 输入路径 输出路径

    }
}

输出结果：
在这里插入图片描述

sdut菜鸟
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop-MapReduce压缩参数配置
qq_36640234的博客
08-14 379
参数 默认值 阶段 建议 io.compression.codecs （在core-site.xml中配置） 无，这个需要在命令行输入hadoopchecknative查看 输入压缩 Hadoop使用文件扩展名判断是否支持某种编解码器 mapreduce.map.output.compress（在mapred-si...
黑猴子的家：MapReduce数据压缩
黑猴子的博客
09-26 162
1、概述 压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在Hadood下，尤其是数据规模很大和工作负载密集的情况下，使用数据压缩显得非常重要。在这种情况下，I/O操作和网络数据传输要花大量的时间。还有，Shuffle与Merge过程同样也面临着巨大的I/O压力。 鉴于磁盘I/O和网络带宽是Hadoop的宝贵资源，数据压缩对于节省资源、最小化磁盘I/...
MapReduce框架-数据压缩
zyd_994264926326的博客
08-16 430
目录 一、概述 二、MR支持的压缩编码 三、压缩方式的选择 1. Gzip压缩 2. Bzip2压缩 3. Lzo压缩 4. Snappy压缩 四、采用压缩的位置 五、压缩配置参数 六、压缩案例 1. 压缩 2. 解压缩 七、压缩的应用 1. map阶段的压缩 2. reduce阶段的压缩 八、总结 一、概述 　　压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在Hadood下，尤其是数据规模很大和工作负载密集的情况下，使用数据
实现Hadoop在Map与Reduce阶段压缩（手写压缩与解压缩代码）
jackfeng86的专栏
06-09 244
Hadoop在Map与Reduce阶段都是通过配置文件进行实现的，具体见下文。 手写压缩文件与解压缩问题有代码演示，请客官笑纳。 1. Map输出进行压缩 // 设置在map输出阶段压缩 conf.set("mapreduce.map.outputt.compress", "true"); // 设置解压缩编码器 conf.set("mapreduce.map.output.compress.codec", "org.apache.hadoop.io.compress..
hadoop深入研究:(九)——mapreduce中的压缩
阿福的专栏
07-07 1177
作为输入 当压缩文件做为mapreduce的输入时，mapreduce将自动通过扩展名找到相应的codec对其解压。 作为输出 当mapreduce的输出文件需要压缩时，可以更改mapred.output.compress为true，mapped.output.compression.codec为想要使用的codec的类名就可以了，当然你可以在代码中指定，通过调用FileOutputForm
hadoop-mapreduce-client-jobclient-2.6.5-API文档-中文版.zip
05-01
赠送jar包：hadoop-mapreduce-client-jobclient-2.6.5.jar； 赠送原API文档：hadoop-mapreduce-client-jobclient-2.6.5-javadoc.jar； 赠送源代码：hadoop-mapreduce-client-jobclient-2.6.5-sources.jar； 赠送...
Hadoop 3.x（MapReduce）----【Hadoop 序列化】---- 代码
09-17
Hadoop 3.x（MapReduce）----【Hadoop 序列化】---- 代码 Hadoop 3.x（MapReduce）----【Hadoop 序列化】---- 代码 Hadoop 3.x（MapReduce）----【Hadoop 序列化】---- 代码 Hadoop 3.x（MapReduce）----【Hadoop ...
01.mapreduce编程模型--及hadoop中的具体实现框架--复习.mp4
04-29
01.mapreduce编程模型--及hadoop中的具体实现框架--复习.mp4
hadoop-mapreduce-examples-2.7.1.jar
06-03
hadoop-mapreduce-examples-2.7.1.jar
Hadoop 3.x（MapReduce）----【MapReduce 概述】---- 代码
09-12
Hadoop 3.x（MapReduce）----【MapReduce 概述】---- 代码 Hadoop 3.x（MapReduce）----【MapReduce 概述】---- 代码 Hadoop 3.x（MapReduce）----【MapReduce 概述】---- 代码 Hadoop 3.x（MapReduce）----...
在MapReduce中使用压缩
andyguan01_2的博客
04-23 1529
要想压缩MapReduce作业的输出，应在作业配置过程中将mapreduce.output.fileoutputformat.compress属性设为true，将mapreduce.output.fileoutputformat.compress.codec属性设置为打算使用的压缩codec的类名。另一种方案是在FileOutputFormat中使用更便捷的方法设置这些属性，如以下范例，对查找最高...
mapreduce数据压缩
u014033218的专栏
07-17 557
概述 这是mapreduce的一种优化策略：通过压缩编码对mapper或者reducer的输出进行压缩，以减少磁盘IO，提高MR程序运行速度（但相应增加了cpu运算负担） 1、 Mapreduce支持将map输出的结果或者reduce输出的结果进行压缩，以减少网络IO或最终输出数据的体积 2、 压缩特性运用得当能提高性能，但运用不当也可能降低性能 3、 基本原则： 运算密集型的job
HADOOP中mapreduce开启压缩功能
zhangxiong0301的专栏
10-14 408
                       最近给热云公司共享数据，我们把原始数据给到他们，让他们做计算。每天同步一次，数据量压缩后10几个G，数据来自hive的mapreduce查询。通过insert overwrite local directory select语句将数据写入本地的NFS，然后对数据压缩，并在NFS的服务端机器提供文件下载功能。由于压缩前数据量太大，大概有90G左右。因...
大数据学习（五）：在MapReduce中使用压缩
acm160920007的博客
07-23 692
要想压缩MapReduec作业的输出，应在作业配置过程中将mapreduce.output.fileOutputformat.compress属性设置为true,将，apre-duce.output.fileoutputformat.compress.codec属性设置为打算压缩的压缩coec的类名。 另一种方案是在FileOutputFormat中使用更便捷的方法设置这些属性。 packag...
Hive的数据压缩:开启Map输出阶段压缩，开启Reduce输出阶段压缩
11-28 4818
开启Map输出阶段压缩 开启map输出阶段压缩可以减少job中map和Reduce task间数据传输量。具体配置如下： 案例实操： 1）开启hive中间传输数据压缩功能 hive (default)>set hive.exec.compress.intermediate=true; 2）开启mapreduce中map输出压缩功能 hive (default)>set mapredu...
MapReduce任务参数调优
freespace
10-30 520
MapReduce任务参数调优 本文主要记录Hadoop 2.x版本中MapReduce参数调优，不涉及Yarn的调优。 Hadoop的默认配置文件（以cdh5.0.1为例）： core-default.xml hdfs-default.xml mapred-default.xml 说明： 在hadoop2中有些参数名称过时了，例如原来的mapred.reduc...
MapReduce开启压缩算法对结果进行压缩
kamisamak的博客
11-19 6552
方法①:在代码中进行压缩设置 map方法添加 Configuration configuration = new Configuration(); configuration.set("mapreduce.map.output.compress","true"); configuration.set("mapreduce.map.output.compress.codec","org.apac...
Java大数据学习09--Mapreduce数据压缩介绍和配置方法
stalin_的博客
06-03 485
一、概述： 数据压缩是mapreduce的一种优化策略：通过压缩编码对mapper或者reducer的输出进行压缩，以减少磁盘IO，提高MR程序运行速度（但相应增加了cpu运算负担） 二、基本原则： 运算密集型的job，少用压缩 IO密集型的job，多用压缩 注： 1、 Mapreduce支持将map输出的结果或者reduce输出的结果进行压缩，以减少网络IO或最终输出数据的体积 2、...
第2节 mapreduce深入学习：14、mapreduce数据压缩-使用snappy进行压缩
dengmanzhou3124的博客
06-15 242
第2节 mapreduce深入学习：14、mapreduce数据压缩-使用snappy进行压缩 文件压缩有两大好处，节约磁盘空间，加速数据在网络和磁盘上的传输。 方式一：在代码中进行设置压缩 代码： FlowMain： public static void main(String[] args) throws Exception {// 设置我们的map阶段的压缩...
Unresolved dependency: 'org.apache.hadoop:hadoop-MapReduce-client-core:jar:2.7.7'
最新发布
05-16
这个错误通常是由于缺少依赖项引起的，你需要确保在你的项目中添加了正确的Hadoop依赖项。你可以尝试在你的pom.xml或build.gradle文件中添加以下依赖项： Maven: ```xml <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-mapreduce-client-core</artifactId> <version>2.7.7</version> </dependency> ``` Gradle: ```groovy implementation 'org.apache.hadoop:hadoop-mapreduce-client-core:2.7.7' ``` 如果你已经添加了这个依赖项但仍然出现错误，那么可能是因为你的本地仓库中没有下载该依赖项。你可以尝试清除本地仓库并重新构建项目来解决这个问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值