txt读取文件字符编码 解决办法

1,cpDetector是探测器,它把探测任务交给具体的探测实现类的实例完成。内置了一些常用的探测实现类,这些探测实现类的实例可以通过add方法 加进来,如ParsingDetector、ByteOrderMarkDetector、JChardetFacade、ASCIIDetector、UnicodeDetector。

2,cpDetector按照“谁最先返回非空的探测结果,就以该结果为准”的原则返回探测到的字符集编码。

3,cpDetector是基于统计学原理的,不保证完全正确。

最近看到网上很多方法都介绍了下面这种读取字符编码的解决办法 实际并不能完全正确的解决问题,正确率比较低

 /**
     * 
     * 判断txt编码格式
     * 
     */
    public static String checkEncoding(int p){
    	  String code = null;    
          
          switch (p) {    
              case 0xefbb:    
                  code = "UTF-8";    
                  break;    
              case 0xfffe:    
                  code = "Unicode";    
                  break;    
              case 0xfeff:    
                  code = "UTF-16BE";    
                  break;    
              default:    
                  code = "GBK";    
          }    
          return code; 
    }



4,下面将介绍cpDetector这种基于统计学原理的读取文件字符编码的解决办法

   a)首先需要下载相应的jar 下载地址:点击打开链接


  b)添加工具类

package com.ghj.packageoftool;

import info.monitorenter.cpdetector.io.ASCIIDetector;
import info.monitorenter.cpdetector.io.ByteOrderMarkDetector;
import info.monitorenter.cpdetector.io.CodepageDetectorProxy;
import info.monitorenter.cpdetector.io.JChardetFacade;
import info.monitorenter.cpdetector.io.ParsingDetector;
import info.monitorenter.cpdetector.io.UnicodeDetector;

import java.io.ByteArrayInputStream;
import java.io.File;
import java.io.InputStream;
import java.net.URL;
import java.nio.charset.Charset;

/**
 * 文件工具类
 * 
 * @author 高焕杰
 */
public class FileTool {

	/**
	 * 获取本地文件的编码格式
	 * 
	 * @param file 要判断的文件编码格式
	 * 
	 * @author 高焕杰
	 */
	public static String getLocalFileEncode(File localFile) {

		
		CodepageDetectorProxy codepageDetector = CodepageDetectorProxy.getInstance();
		codepageDetector.add(new ParsingDetector(false));//ParsingDetector可用于检查HTML、XML等文件或字符流的编码,构造方法中的参数用于指示是否显示探测过程的详细信息,为false不显示。
		codepageDetector.add(JChardetFacade.getInstance());//JChardetFacade封装了由Mozilla组织提供的JChardet,它可以完成大多数文件的编码 测定。所以,一般有了这个探测器就可满足大多数项目的要求,如果你还不放心,可以再多加几个探测器,比如下面的ASCIIDetector、UnicodeDetector等。
		codepageDetector.add(new ByteOrderMarkDetector());  
		codepageDetector.add(ASCIIDetector.getInstance());//ASCIIDetector用于ASCII编码测定
		codepageDetector.add(UnicodeDetector.getInstance());//UnicodeDetector用于Unicode家族编码的测定
		Charset charset = null;
		try {
			charset = codepageDetector.detectCodepage(localFile.toURI().toURL());
			if (charset != null){
				return charset.name();
			}
		} catch (Exception e) {
			e.printStackTrace();
		}
		return null;
	}
	
	/**
	 * 获得远程URL文件的编码格式
	 * 
	 * @param url 远程文件的URL路径
	 * 
	 * @author 高焕杰
	 */
	public static String getURLFileEncode(URL url) {

		
		CodepageDetectorProxy codepageDetector = CodepageDetectorProxy.getInstance();
		codepageDetector.add(new ParsingDetector(false));//ParsingDetector可用于检查HTML、XML等文件或字符流的编码,构造方法中的参数用于指示是否显示探测过程的详细信息,为false不显示。
		codepageDetector.add(JChardetFacade.getInstance());//JChardetFacade封装了由Mozilla组织提供的JChardet,它可以完成大多数文件的编码 测定。所以,一般有了这个探测器就可满足大多数项目的要求,如果你还不放心,可以再多加几个探测器,比如下面的ASCIIDetector、UnicodeDetector等。
		codepageDetector.add(ASCIIDetector.getInstance());//ASCIIDetector用于ASCII编码测定
		codepageDetector.add(UnicodeDetector.getInstance());//UnicodeDetector用于Unicode家族编码的测定
		Charset charset = null;
		try {
			charset = codepageDetector.detectCodepage(url);
			if (charset != null){
				return charset.name();
			}
		} catch (Exception e) {
			e.printStackTrace();
		}
		return null;
	}
	
	/**
	 * 获得文件流的编码格式
	 * 
	 * @param inputStream 文件流
	 * 
	 * @author 高焕杰
	 */
	public static String getInputStreamEncode(InputStream inputStream) {

		CodepageDetectorProxy codepageDetector = CodepageDetectorProxy.getInstance();
		codepageDetector.add(new ParsingDetector(false));//ParsingDetector可用于检查HTML、XML等文件或字符流的编码,构造方法中的参数用于指示是否显示探测过程的详细信息,为false不显示。
		codepageDetector.add(JChardetFacade.getInstance());//JChardetFacade封装了由Mozilla组织提供的JChardet,它可以完成大多数文件的编码 测定。所以,一般有了这个探测器就可满足大多数项目的要求,如果你还不放心,可以再多加几个探测器,比如下面的ASCIIDetector、UnicodeDetector等。
		codepageDetector.add(ASCIIDetector.getInstance());//ASCIIDetector用于ASCII编码测定
		codepageDetector.add(UnicodeDetector.getInstance());//UnicodeDetector用于Unicode家族编码的测定
		Charset charset = null;
		try {
			charset = codepageDetector.detectCodepage(inputStream, 0);
			if (charset != null){
				return charset.name();
			}
		} catch (Exception e) {
			e.printStackTrace();
		}
		return null;
	}
	
	/**
	 * 获得字符串的编码格式
	 * 
	 * @param stringValue 要判断的文件编码格式字符串
	 * 
	 * @author 高焕杰
	 */
	public static String getStringEncode(String stringValue) {

		
		CodepageDetectorProxy codepageDetector = CodepageDetectorProxy.getInstance();
		codepageDetector.add(new ParsingDetector(false));//ParsingDetector可用于检查HTML、XML等文件或字符流的编码,构造方法中的参数用于指示是否显示探测过程的详细信息,为false不显示。
		codepageDetector.add(JChardetFacade.getInstance());//JChardetFacade封装了由Mozilla组织提供的JChardet,它可以完成大多数文件的编码 测定。所以,一般有了这个探测器就可满足大多数项目的要求,如果你还不放心,可以再多加几个探测器,比如下面的ASCIIDetector、UnicodeDetector等。
		codepageDetector.add(ASCIIDetector.getInstance());//ASCIIDetector用于ASCII编码测定
		codepageDetector.add(UnicodeDetector.getInstance());//UnicodeDetector用于Unicode家族编码的测定
		Charset charset = null;
		try {
			InputStream inputStream = new ByteArrayInputStream(stringValue.getBytes());
			charset = codepageDetector.detectCodepage(inputStream, 3);
			if (charset != null){
				return charset.name();
			}
		} catch (Exception e) {
			e.printStackTrace();
		}
		return null;
	}
}
可以通过调用工具类的方法进行相应的类型的数据进行判断。


展开阅读全文
©️2020 CSDN 皮肤主题: 创作都市 设计师: CSDN官方博客 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值