获取文件编码chardet




package org.wanda.work.util;
import java.io.BufferedInputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.io.InputStream;
import java.util.ArrayList;
import java.util.List;

import org.mozilla.intl.chardet.nsDetector;
import org.mozilla.intl.chardet.nsICharsetDetectionObserver;  
  
/** 
 * 借助JCharDet获取文件字符集 
 */  
public class FileCharsetDetector {  
    private boolean found = false;  
  
    /** 
     * 如果完全匹配某个字符集检测算法, 则该属性保存该字符集的名称. 否则(如二进制文件)其值就为默认值 null, 这时应当查询属性 
     */  
    private String encoding = null;
    
    public static void main(String[] args) throws Exception {  
        List<String> pathList = new ArrayList<String>();  
        pathList.add("C:/Users/Administrator/Desktop/abc.txt"); 
        for(String path : pathList) {
        	InputStream is = new FileInputStream(new File(path));
            String encoding = new FileCharsetDetector().guestFileEncoding(is);  
            System.out.println("文件编码:" + encoding);  
        }  
    }  
      
  
    /** 
     * 传入一个文件(File)对象,检查文件编码 
     *  
     * @param file 
     *            File对象实例 
     * @return 文件编码,若无,则返回null 
     * @throws FileNotFoundException 
     * @throws IOException 
     */  
    public String guestFileEncoding(InputStream is) throws IOException {  
        return guestFileEncoding(is, new nsDetector());  
    }  
  
    /** 
     * 获取文件的编码 
     *  
     * @param file 
     *            File对象实例 
     * @param languageHint 
     *            语言提示区域代码 eg:1 : Japanese; 2 : Chinese; 3 : Simplified Chinese; 
     *            4 : Traditional Chinese; 5 : Korean; 6 : Dont know (default) 
     * @return 文件编码,eg:UTF-8,GBK,GB2312形式,若无,则返回null 
     * @throws FileNotFoundException 
     * @throws IOException 
     */  
    public String guestFileEncoding(InputStream is, int languageHint)  
            throws FileNotFoundException, IOException {  
        return guestFileEncoding(is, new nsDetector(languageHint));  
    }
  
    /** 
     * 获取文件的编码 
     *  
     * @param file 
     * @param det 
     * @return 
     * @throws FileNotFoundException 
     * @throws IOException 
     */  
    private String guestFileEncoding(InputStream is, nsDetector det)  
            throws FileNotFoundException, IOException {  
        // Set an observer...  
        // The Notify() will be called when a matching charset is found.  
        det.Init(new nsICharsetDetectionObserver() {  
            public void Notify(String charset) {  
                found = true;  
                encoding = charset;  
            }  
        });  
  
        BufferedInputStream imp = new BufferedInputStream(is);  
  
        byte[] buf = new byte[1024];  
        int len;  
        boolean done = false;  
        boolean isAscii = true;  
  
        while ((len = imp.read(buf, 0, buf.length)) != -1) {  
            // Check if the stream is only ascii.  
            if (isAscii)  
                isAscii = det.isAscii(buf, len);  
  
            // DoIt if non-ascii and not done yet.  
            if (!isAscii && !done)  
                done = det.DoIt(buf, len, false);  
        }  
        det.DataEnd();  
  
        if (isAscii) {  
            encoding = "ASCII";  
            found = true;  
        }  
  
        if (!found) {  
            String prob[] = det.getProbableCharsets();  
            if (prob.length > 0) {  
                // 在没有发现情况下,则取第一个可能的编码  
                encoding = prob[0];  
            } else {  
                return null;  
            }  
        }  
        return encoding;  
    }  
}  




调用    无法解析pdf  等格式

String encoding = new FileCharsetDetector().guestFileEncoding(new FileInputStream(localFile));
                                if (StringUtils.isNotBlank(encoding)) {
                                    String content = FileUtils.readFileToString(localFile, encoding);
                                    FileUtils.writeStringToFile(localFile, content, "utf-8");
                                }




  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值