cpdetector检测文件的编码方式

 <dependency>
            <groupId>cpdetector</groupId>
            <artifactId>cpdetector</artifactId>
            <version>1.0.7</version>
        </dependency>
        <dependency>
            <groupId>org.antlr</groupId>
            <artifactId>com.springsource.antlr</artifactId>
            <version>2.7.7</version>
        </dependency>
        <dependency>
            <groupId>jargs</groupId>
            <artifactId>jargs</artifactId>
            <version>1.0</version>
        </dependency>
        <dependency>
            <groupId>org.mozilla.intl</groupId>
            <artifactId>chardet</artifactId>
            <version>1.0</version>
        </dependency>

<repositories>
        <repository>
            <id>com.springsource.repository.bundles.release</id>
            <name>
                SpringSource Enterprise Bundle Repository - SpringSource Bundle Releases
            </name>
            <url>
                http://repository.springsource.com/maven/bundles/release
            </url>
        </repository>
        <repository>
            <id>com.springsource.repository.bundles.external</id>
            <name>
                SpringSource Enterprise Bundle Repository - External Bundle Releases
            </name>
            <url>
                http://repository.springsource.com/maven/bundles/external
            </url>
        </repository>
    </repositories>
import info.monitorenter.cpdetector.io.*;

import java.io.ByteArrayInputStream;
import java.io.File;
import java.io.InputStream;

public class FileCharset {

	/**
	 * 利用第三方开源包cpdetector获取文件编码格式
	 *
	 * @param path
	 *            要判断文件编码格式的源文件的路径
	 * @author 
	 * @version 
	 */
	public static String getFileEncode(String path) {
    /*
     * detector是探测器,它把探测任务交给具体的探测实现类的实例完成。
     * cpDetector内置了一些常用的探测实现类,这些探测实现类的实例可以通过add方法 加进来,如ParsingDetector、
     * JChardetFacade、ASCIIDetector、UnicodeDetector。
     * detector按照“谁最先返回非空的探测结果,就以该结果为准”的原则返回探测到的
     * 字符集编码。使用需要用到三个第三方JAR包:antlr.jar、chardet.jar和cpdetector.jar
     * cpDetector是基于统计学原理的,不保证完全正确。
     */
		CodepageDetectorProxy detector = CodepageDetectorProxy.getInstance();
    /*
     * ParsingDetector可用于检查HTML、XML等文件或字符流的编码,构造方法中的参数用于
     * 指示是否显示探测过程的详细信息,为false不显示。
     */
		detector.add(new ParsingDetector(false));
    /*
     * JChardetFacade封装了由Mozilla组织提供的JChardet,它可以完成大多数文件的编码
     * 测定。所以,一般有了这个探测器就可满足大多数项目的要求,如果你还不放心,可以
     * 再多加几个探测器,比如下面的ASCIIDetector、UnicodeDetector等。
     */
		detector.add(JChardetFacade.getInstance());// 用到antlr.jar、chardet.jar
		// ASCIIDetector用于ASCII编码测定
		detector.add(ASCIIDetector.getInstance());
		// UnicodeDetector用于Unicode家族编码的测定
		detector.add(UnicodeDetector.getInstance());
		java.nio.charset.Charset charset = null;
		File f = new File(path);
		try {
			charset = detector.detectCodepage(f.toURI().toURL());
		} catch (Exception ex) {
			ex.printStackTrace();
		}
		if (charset != null)
			return charset.name();
		else
			return null;
	}

	/**
	 * 利用第三方开源包cpdetector获取文件编码格式
	 *
	 * @param text
	 *            要判断的字符串
	 * @author 
	 * @version 
	 */
	public static String getTextEncode(String text) {

		CodepageDetectorProxy detector = CodepageDetectorProxy.getInstance();
		detector.add(new ParsingDetector(false));
		detector.add(JChardetFacade.getInstance());
		detector.add(ASCIIDetector.getInstance());
		detector.add(UnicodeDetector.getInstance());
		java.nio.charset.Charset charset = null;
		InputStream in = new ByteArrayInputStream(text.getBytes());
		try {
			charset = detector.detectCodepage(in,text.length());
		} catch (Exception ex) {
			ex.printStackTrace();
		}
		if (charset != null)
			return charset.name();
		else
			return null;
	}

	public static void main(String[] args) {
		String a = "澶╂触甯傛皵璞″彴  2019-05-11 23鏃�  鍙戝竷23鏃�-02鏃跺ぉ姘旈鎶�";
		String code = getTextEncode(a);
		System.out.println("code = " + code);

	}
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值