hadoop读取GBK编码文件解决之道!

package com.zuidaima.util;

import java.io.UnsupportedEncodingException;

/**
 * 转换字符串的编码
 */
public class ChangeCharset {
  /** 7位ASCII字符,也叫作ISO646-US、Unicode字符集的基本拉丁块 */
  public static final String US_ASCII = "US-ASCII";

  /** ISO 拉丁字母表 No.1,也叫作 ISO-LATIN-1 */
  public static final String ISO_8859_1 = "ISO-8859-1";

  /** 8 位 UCS 转换格式 */
  public static final String UTF_8 = "UTF-8";

  /** 16 位 UCS 转换格式,Big Endian(最低地址存放高位字节)字节顺序 */
  public static final String UTF_16BE = "UTF-16BE";

  /** 16 位 UCS 转换格式,Little-endian(最高地址存放低位字节)字节顺序 */
  public static final String UTF_16LE = "UTF-16LE";

  /** 16 位 UCS 转换格式,字节顺序由可选的字节顺序标记来标识 */
  public static final String UTF_16 = "UTF-16";

  /** 中文超大字符集 */
  public static final String GBK = "GBK";

  /**
   * 将字符编码转换成US-ASCII码
   */
  public String toASCII(String str) throws UnsupportedEncodingException {
    return this.changeCharset(str, US_ASCII);
  }

  /**
   * 将字符编码转换成ISO-8859-1码
   */
  public String toISO_8859_1(String str) throws UnsupportedEncodingException {
    return this.changeCharset(str, ISO_8859_1);
  }

  /**
   * 将字符编码转换成UTF-8码
   */
  public String toUTF_8(String str) throws UnsupportedEncodingException {
    return this.changeCharset(str, UTF_8);
  }

  /**
   * 将字符编码转换成UTF-16BE码
   */
  public String toUTF_16BE(String str) throws UnsupportedEncodingException {
    return this.changeCharset(str, UTF_16BE);
  }

  /**
   * 将字符编码转换成UTF-16LE码
   */
  public String toUTF_16LE(String str) throws UnsupportedEncodingException {
    return this.changeCharset(str, UTF_16LE);
  }

  /**
   * 将字符编码转换成UTF-16码
   */
  public String toUTF_16(String str) throws UnsupportedEncodingException {
    return this.changeCharset(str, UTF_16);
  }

  /**
   * 将字符编码转换成GBK码
   */
  public String toGBK(String str) throws UnsupportedEncodingException {
    return this.changeCharset(str, GBK);
  }

  /**
   * 字符串编码转换的实现方法
   * 
   * @param str
   *            待转换编码的字符串
   * @param newCharset
   *            目标编码
   * @return
   * @throws UnsupportedEncodingException
   */
  public String changeCharset(String str, String newCharset)
      throws UnsupportedEncodingException {
    if (str != null) {
      // 用默认字符编码解码字符串。
      byte[] bs = str.getBytes();
      // 用新的字符编码生成字符串
      return new String(bs, newCharset);
    }
    return null;
  }

  /**
   * 字符串编码转换的实现方法
   * 
   * @param str
   *            待转换编码的字符串
   * @param oldCharset
   *            原编码
   * @param newCharset
   *            目标编码
   * @return
   * @throws UnsupportedEncodingException
   */
  public String changeCharset(String str, String oldCharset, String newCharset)
      throws UnsupportedEncodingException {
    if (str != null) {
      // 用旧的字符编码解码字符串。解码可能会出现异常。
      byte[] bs = str.getBytes(oldCharset);
      // 用新的字符编码生成字符串
      return new String(bs, newCharset);
    }
    return null;
  }

  public static void main(String[] args) throws UnsupportedEncodingException {
    ChangeCharset test = new ChangeCharset();
    String str = "This is a 中文的 String!";
    System.out.println("str: " + str);
    String gbk = test.toGBK(str);
    System.out.println("转换成GBK码: " + gbk);
    System.out.println();
    String ascii = test.toASCII(str);
    System.out.println("转换成US-ASCII码: " + ascii);
    gbk = test.changeCharset(ascii, ChangeCharset.US_ASCII,
        ChangeCharset.GBK);
    System.out.println("再把ASCII码的字符串转换成GBK码: " + gbk);
    System.out.println();
    String iso88591 = test.toISO_8859_1(str);
    System.out.println("转换成ISO-8859-1码: " + iso88591);
    gbk = test.changeCharset(iso88591, ChangeCharset.ISO_8859_1,
        ChangeCharset.GBK);
    System.out.println("再把ISO-8859-1码的字符串转换成GBK码: " + gbk);
    System.out.println();
    String utf8 = test.toUTF_8(str);
    System.out.println("转换成UTF-8码: " + utf8);
    gbk = test.changeCharset(utf8, ChangeCharset.UTF_8, ChangeCharset.GBK);
    System.out.println("再把UTF-8码的字符串转换成GBK码: " + gbk);
    System.out.println();
    String utf16be = test.toUTF_16BE(str);
    System.out.println("转换成UTF-16BE码:" + utf16be);
    gbk = test.changeCharset(utf16be, ChangeCharset.UTF_16BE,
        ChangeCharset.GBK);
    System.out.println("再把UTF-16BE码的字符串转换成GBK码: " + gbk);
    System.out.println();
    String utf16le = test.toUTF_16LE(str);
    System.out.println("转换成UTF-16LE码:" + utf16le);
    gbk = test.changeCharset(utf16le, ChangeCharset.UTF_16LE,
        ChangeCharset.GBK);
    System.out.println("再把UTF-16LE码的字符串转换成GBK码: " + gbk);
    System.out.println();
    String utf16 = test.toUTF_16(str);
    System.out.println("转换成UTF-16码:" + utf16);
    gbk = test.changeCharset(utf16, ChangeCharset.UTF_16LE,
        ChangeCharset.GBK);
    System.out.println("再把UTF-16码的字符串转换成GBK码: " + gbk);
    String s = new String("中文".getBytes("UTF-8"), "UTF-8");
    System.out.println(s);
  }
}
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
回答: HadoopJava的版本需要一一对应,否则可能会出现不支持的函数。根据官方给出的对应信息,Java 8版本支持Apache Hadoop 3.x版本,而Apache Hadoop 2.x版本则支持Java 7和8版本。对于最新更新的2.7版本,需要Java 7,并且已经通过了OpenJDK和Oracle (HotSpot)'s JDK/JRE的编译和测试。早期版本(2.6或更早版本)则支持Java 6。Java 11目前在部分方面提供了支持。HadoopJava 11编译时不支持,并且目前Apache Hadoop社区使用OpenJDK作为构建/测试/发布环境。其他的JDKs/JVMs也应该可以正常工作。如果您对其他JDKs/JVMs不满意,请查找相关的JIRA文档。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [Hadoop Java对应版本号](https://blog.csdn.net/m0_67393619/article/details/123933614)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] - *3* [hadoop程序开发--- Java](https://blog.csdn.net/zx77588023/article/details/109861294)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值