hadoop MapReduce 输出结果中文乱码解决

最新推荐文章于 2024-09-17 21:34:32 发布
最新推荐文章于 2024-09-17 21:34:32 发布
阅读量3.9k 收藏
点赞数 1
分类专栏： bigdata 文章标签： hadoop mapreduce 乱码

hadoop涉及输出文本的默认输出编码统一用没有BOM的UTF-8的形式，但是对于中文的输出window系统默认的是GBK，有些格式文件例如CSV格式的文件用excel打开输出编码为没有BOM的UTF-8文件时，输出的结果为乱码，只能由UE或者记事本打开才能正常显示。因此将hadoop默认输出编码更改为GBK成为非常常见的需求。
自定义 TextOutputFormat.class

package com.ljt.hdfs;

import java.io.DataOutputStream;
import java.io.IOException;
import java.io.UnsupportedEncodingException;

import org.apache.hadoop.classification.InterfaceAudience;
import org.apache.hadoop.classification.InterfaceStability;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.compress.CompressionCodec;
import org.apache.hadoop.io.compress.GzipCodec;
import org.apache.hadoop.mapreduce.RecordWriter;
import org.apache.hadoop.mapreduce.TaskAttemptContext;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.ReflectionUtils;
/**
 * 
 * <p>Title:hadoop MapReduce 输出结果中文乱码解决</p>
 * <p> 功能描述:: </p>
 * <p>Company: adteach </p> 
 * @author  刘建涛 * 
 * @date    2017年7月19日下午4:37:41
 * @version 1.0
 */


@InterfaceAudience.Public
@InterfaceStability.Stable
public class TextOutputFormat<K, V> extends FileOutputFormat<K, V> {
  public static String SEPERATOR = "mapreduce.output.textoutputformat.separator";
  protected static class LineRecordWriter<K, V>
    extends RecordWriter<K, V> {
    private static final String utf8 = "UTF-8";  // 将UTF-8转换成GBK 
    private static final byte[] newline;
    static {
      try {
        newline = "\n".getBytes(utf8);
      } catch (UnsupportedEncodingException uee) {
        throw new IllegalArgumentException("can't find " + utf8 + " encoding");
      }
    }

    protected DataOutputStream out;
    private final byte[] keyValueSeparator;

    public LineRecordWriter(DataOutputStream out, String keyValueSeparator) {
      this.out = out;
      try {
        this.keyValueSeparator = keyValueSeparator.getBytes(utf8);
      } catch (UnsupportedEncodingException uee) {
        throw new IllegalArgumentException("can't find " + utf8 + " encoding");
      }
    }

    public LineRecordWriter(DataOutputStream out) {
      this(out, "\t");
    }

    /**
     * Write the object to the byte stream, handling Text as a special
     * case.
     * @param o the object to print
     * @throws IOException if the write throws, we pass it on
     */
    private void writeObject(Object o) throws IOException {
      if (o instanceof Text) {
        Text to = (Text) o;   // 将此行代码注释掉
        out.write(to.getBytes(), 0, to.getLength());  // 将此行代码注释掉
      } else { // 将此行代码注释掉      
        out.write(o.toString().getBytes(utf8));
      }
    }

    public synchronized void write(K key, V value)
      throws IOException {

      boolean nullKey = key == null || key instanceof NullWritable;
      boolean nullValue = value == null || value instanceof NullWritable;
      if (nullKey && nullValue) {
        return;
      }
      if (!nullKey) {
        writeObject(key);
      }
      if (!(nullKey || nullValue)) {
        out.write(keyValueSeparator);
      }
      if (!nullValue) {
        writeObject(value);
      }
      out.write(newline);
    }

    public synchronized 
    void close(TaskAttemptContext context) throws IOException {
      out.close();
    }
  }

  public RecordWriter<K, V> 
         getRecordWriter(TaskAttemptContext job
                         ) throws IOException, InterruptedException {
    Configuration conf = job.getConfiguration();
    boolean isCompressed = getCompressOutput(job);
    String keyValueSeparator= conf.get(SEPERATOR, "\t");
    CompressionCodec codec = null;
    String extension = "";
    if (isCompressed) {
      Class<? extends CompressionCodec> codecClass = 
        getOutputCompressorClass(job, GzipCodec.class);
      codec = (CompressionCodec) ReflectionUtils.newInstance(codecClass, conf);
      extension = codec.getDefaultExtension();
    }
    Path file = getDefaultWorkFile(job, extension);
    FileSystem fs = file.getFileSystem(conf);
    if (!isCompressed) {
      FSDataOutputStream fileOut = fs.create(file, false);
      return new LineRecordWriter<K, V>(fileOut, keyValueSeparator);
    } else {
      FSDataOutputStream fileOut = fs.create(file, false);
      return new LineRecordWriter<K, V>(new DataOutputStream
                                        (codec.createOutputStream(fileOut)),
                                        keyValueSeparator);
    }
  }
}

  默认的情况下MR主程序中，设定输出编码的设置语句为：

job.setOutputFormatClass(TextOutputFormat.class);

上述代码的第48行可以看出hadoop已经限定此输出格式统一为UTF-8，因此为了改变hadoop的输出代码的文本编码只需定义一个和TextOutputFormat相同的类GbkOutputFormat同样继承FileOutputFormat
（注意是
org.apache.hadoop.mapreduce.lib.output.FileOutputFormat）
即可，如下代码

package com.ljt.hdfs;


import java.io.DataOutputStream;
import java.io.IOException;
import java.io.UnsupportedEncodingException;

import org.apache.hadoop.classification.InterfaceAudience;
import org.apache.hadoop.classification.InterfaceStability;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.compress.CompressionCodec;
import org.apache.hadoop.io.compress.GzipCodec;
import org.apache.hadoop.mapreduce.RecordWriter;
import org.apache.hadoop.mapreduce.TaskAttemptContext;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.ReflectionUtils;
/**
 * 
 * <p>
 * Title: GbkOutputFormat
 * </p>
 * <p>
 * 功能描述::
 * hadoop已经限定此输出格式统一为UTF-8，因此为了改变hadoop的输出代码的文本编码只需定义一个和TextOutputFormat相同的类GbkOutputFormat同样继承FileOutputFormat
 * （注意是 org.apache.hadoop.mapreduce.lib.output.FileOutputFormat）
 * </p>
 * <p>
 * Company: adteach
 * </p>
 * 
 * @author 刘建涛 *
 * @date 2017年7月19日下午4:42:05
 * @version 1.0
 */
@InterfaceAudience.Public
@InterfaceStability.Stable
public class GbkOutputFormat<K, V> extends FileOutputFormat<K, V> {
  public static String SEPERATOR = "mapreduce.output.textoutputformat.separator";
  protected static class LineRecordWriter<K, V>
    extends RecordWriter<K, V> {
    private static final String utf8 = "GBK";
    private static final byte[] newline;
    static {
      try {
        newline = "\n".getBytes(utf8);
      } catch (UnsupportedEncodingException uee) {
        throw new IllegalArgumentException("can't find " + utf8 + " encoding");
      }
    }

    protected DataOutputStream out;
    private final byte[] keyValueSeparator;

    public LineRecordWriter(DataOutputStream out, String keyValueSeparator) {
      this.out = out;
      try {
        this.keyValueSeparator = keyValueSeparator.getBytes(utf8);
      } catch (UnsupportedEncodingException uee) {
        throw new IllegalArgumentException("can't find " + utf8 + " encoding");
      }
    }

    public LineRecordWriter(DataOutputStream out) {
      this(out, "\t");
    }

    /**
     * Write the object to the byte stream, handling Text as a special
     * case.
     * @param o the object to print
     * @throws IOException if the write throws, we pass it on
     */
    private void writeObject(Object o) throws IOException {
      if (o instanceof Text) {
//        Text to = (Text) o;
//        out.write(to.getBytes(), 0, to.getLength());
//      } else {
        out.write(o.toString().getBytes(utf8));
      }
    }

    public synchronized void write(K key, V value)
      throws IOException {

      boolean nullKey = key == null || key instanceof NullWritable;
      boolean nullValue = value == null || value instanceof NullWritable;
      if (nullKey && nullValue) {
        return;
      }
      if (!nullKey) {
        writeObject(key);
      }
      if (!(nullKey || nullValue)) {
        out.write(keyValueSeparator);
      }
      if (!nullValue) {
        writeObject(value);
      }
      out.write(newline);
    }

    public synchronized 
    void close(TaskAttemptContext context) throws IOException {
      out.close();
    }
  }

  public RecordWriter<K, V> 
         getRecordWriter(TaskAttemptContext job
                         ) throws IOException, InterruptedException {
    Configuration conf = job.getConfiguration();
    boolean isCompressed = getCompressOutput(job);
    String keyValueSeparator= conf.get(SEPERATOR, "\t");
    CompressionCodec codec = null;
    String extension = "";
    if (isCompressed) {
      Class<? extends CompressionCodec> codecClass = 
        getOutputCompressorClass(job, GzipCodec.class);
      codec = (CompressionCodec) ReflectionUtils.newInstance(codecClass, conf);
      extension = codec.getDefaultExtension();
    }
    Path file = getDefaultWorkFile(job, extension);
    FileSystem fs = file.getFileSystem(conf);
    if (!isCompressed) {
      FSDataOutputStream fileOut = fs.create(file, false);
      return new LineRecordWriter<K, V>(fileOut, keyValueSeparator);
    } else {
      FSDataOutputStream fileOut = fs.create(file, false);
      return new LineRecordWriter<K, V>(new DataOutputStream
                                        (codec.createOutputStream(fileOut)),
                                        keyValueSeparator);
    }
  }
}

最后将输出编码类型设置成GbkOutputFormat.class，如：
job.setOutputFormatClass(GbkOutputFormat.class);

ljtyxl
关注
专栏目录
MapReduce清洗数据乱码问题
吃提子要吐皮的博客
11-28 1262
/*This class stores text using standard UTF8 encoding.*/ public class Text extends BinaryComparable implements WritableComparable&amp;amp;lt;BinaryComparable&amp;amp;gt; { private static ThreadLocal&amp;amp;lt;CharsetEncoder&am
错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster
weixin_45140946的博客
02-27 2800
错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster 解决： 在yarn-site.xml和mapred-site.xml中添加如下依赖 <property> <name>yarn.application.classpath</name> <value>/usr/etc/hadoop-3.2.2/etc/hadoop:/usr/etc/hadoop-3.2.2
hadoop中文乱码问题
08-09
NULL 博文链接：https://201201314056.iteye.com/blog/2193117
MapReduce中文乱码
qq_33286695的博客
11-28 1202
问题： mapreduce输出乱码 原因： 再用Hadoop处理数据的时候，发现输出的时候，总是会出现乱码，这是因为Hadoop在设计编码的时候，是写死的。默认是UTF-8，所以当你处理的文件编码格式不是为UTF-8的时候，比如为GBK格式，那么就会输出的时候就会出现乱码。 问题解决： 解决问题非常简单，就是转码，确定数据都是以UTF-8的编码格式在运行。 在map端从文件中读取一行数据的时候，把...
解决Hive乱码问题
ABU009的博客
09-17 893
#解决hive乱码问题#三端同步#字符集编码
[hadoop]MapReduce运行结果中文乱码
xiaozhang0912的博客
03-31 1089
用Hadoop处理数据的时候，输出结果总是乱码，这是因为Hadoop在设计编码的时候，默认是UTF-8，当文件编码格式不是为UTF-8的时候，可能输出的时候出现乱码。（感觉就是运气，我舍友第一次运行正常，第二次运行乱码，哈哈哈哈哈哈哈哈哈） 我的mapper类中的value为text 问题解决： 我的文件是GBK格式的，以GBK读入数据，以下代码加到开头，分割用line。 String line ...
mapreduce中文乱码，已解决
weixin_34235457的博客
11-28 1260
　　问题： 　　mapreduce中文乱码 　　原因： 　　再用Hadoop处理数据的时候，发现输出的时候，总是会出现乱码，这是因为Hadoop在设计编码的时候，是写死的。默认是UTF-8，所以当你处理的文件编码格式不是为UTF-8的时候，比如为GBK格式，那么就会输出的时候就会出现乱码。 　　问题解决： 　　解决问题非常简单，就是转码，确定数据都是以UTF-8的编码格式在运行。 　　...
问题解决：MapReduce输出结果乱码（Eclipse）
邵奈一的博客
07-28 1237
所以，最简单的办法其实还是将需要统计文件的编码格式改成UTF-8，这样我们就不需要改代码了，否则，你需要指定输入文件的编码格式，不然就会像开头的统计结果一样，只有三行，而且是乱码的。...
HIve 使用MapReduce查询计算引擎，输出结果汉字显示乱码
swing2008的专栏
11-24 842
HIve 使用MapReduce查询计算引擎，输出结果汉字显示乱码 在配置MultiDelimitSerDe后，建立hive多分隔符表，select * from tab1 正常显示汉字；但是select s2,substr(s2,3) from db_mul.multi_delimiter_test 通过MR 引擎处理后，查询结果出现乱码。建表语句如下： create table db_mul.multi_delimiter_test( s1 string, s2 string, s3 string)
hadoop输出文件乱码
06-03
Hadoop输出文件乱码可能是因为编码不一致导致的。可以尝试在输出时使用UTF-8编码，例如： ``` job.setOutputKeyClass(Text.class); job.setOutputValueClass(Text.class); job.setOutputFormatClass...
hive查询mapreduce汉字乱码
最新发布
10-16
Hive通常基于Hadoop MapReduce框架执行数据处理任务。如果在Hive查询中遇到汉字乱码的问题，可能是由于编码设置不一致导致的。以下是可能导致此问题的一些原因及解决步骤： 1. **字符集设置**：确认Hadoop配置文件...
ExcelRecordReaderMapReduce:可以读取Excel文件的MapReduce InputFormat
05-19
ExcelRecordReaderMapReduce hadoop mapreduce的MapReduce输入格式以读取Microsoft Excel电子表格 执照 Apache许可。 用法 1.下载并运行ant。 2.在您的环境中包括ExcelRecordReaderMapReduce-0.0.1-SNAPSHOT.jar 3.使用ExcelInputFormat类作为Mapper的输入格式。 检查src / test / resource / test.xls以查看演示文件。 返回的键是从零开始的文件偏移量，值是单行的所有列值。 不支持Zip文件执行任务为> hadoop jar ExcelRecordReaderMapReduce-0.0.1-SNAPSHOT-jar-with-dependencies.jar出来作业完成后，您可以检查HDFS中输出目录的内容。 hadoop fs
hadoop编码问题，mapreduce中Tex与string的转化 乱码问题
weixin_33989058的博客
09-29 198
引用：http://blog.csdn.net/zklth/article/details/11829563 Hadoop处理GBK文本时,发现输出出现了乱码,原来HADOOP在涉及编码时都是写死的UTF-8，如果文件编码格式是其它类型（如GBK)，则会出现乱码。 此时只需在mapper或reducer程序中读取Text时，使用transformTextToUTF8(text, "GBK");...
mapreduce 输出乱码
qq_33290422的博客
04-07 4827
Hadoop处理GBK文本时,发现输出出现了乱码,原来HADOOP在涉及编码时都是写死的UTF-8，如果文件编码格式是其它类型（如GBK)，则会出现乱码。 此时只需在mapper或reducer程序中读取Text时，使用transformTextToUTF8(text, "GBK");进行一下转码，以确保都是以UTF-8的编码方式在运行。   String line=new String...
MapReduce输出结果乱码
qq_45728730的博客
09-05 1083
MapReduce输出结果中文乱码 如图所示，中文本部分乱码 只需要在map函数中把String line = value.toString();改成String line=new String(value.getBytes(),0,value.getLength(),"GBK");即可。
MapReduce中文乱码的情况的妥善解决
qq_45683188的博客
09-05 687
对于MapReduce处理来说，都是处理本机或者服务器里面的文件，源文件的编码可能是gbk或者是其他 但是对于hadoop而言，他将编码给规范死了，就是utf-8，这个时候我么就需要进行编码之间的转换了 具体怎么做呢 加上一下这行代码， String line = new String(value.getBytes(),0,value.getLength(),“GBK”); 这行代码的就是将你的读进来的数据都用gbk的编码读进来，然后就是在map方法中转化为utf-8的格式，这里需要注意的是你这行代码
Hadoop 中文编码相关问题 -- mapreduce程序处理GBK编码数据并输出GBK编码数据
enockipp的小'码'头
04-14 2388
最近些统计程序时，使用了原生的java hadoop，以前使用streaming 模式， 用awk脚本写时，没有遇到编码问题，原生的java hadoop程序，在处理gb18030格式log时，当输出内容时，出现乱码。解决方法见下文（转自http://blog.csdn.net/zklth/article/details/11829563） --------------------------
一例 jvm file.encoding 属性引起的 MapReduce/HBase 乱码问题
weixin_34302561的博客
08-28 93
2019独角兽企业重金招聘Python工程师标准>>> ...
Hadoop输出结果中中文乱码问题‏
weixin_30500663的博客
08-29 184
解决了一个Hadoop输出中文乱码的问题，简单来说就是注意编码，写出String的时候不要让Java插手。 简单流程： Map：readFields(ResultSet result)——从Mysql中读出； Map：write(DataOutput out)——输出Map结果； Reduce：readFields(DataInput in)——读回Map输出的中间结果； ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值