利用icu4j检测文件的编码格式

最新推荐文章于 2022-09-20 09:52:47 发布

默默前行的蜗牛

最新推荐文章于 2022-09-20 09:52:47 发布

阅读量1.8k

点赞数

分类专栏：工作经验

工作经验专栏收录该内容

91 篇文章

订阅专栏

本文介绍了一种利用ICU4J库检测文件编码的方法。通过Java代码实现，可以读取文件并输出其编码格式，如UTF-8或GB18030等。该方法适用于多种文件类型，并提供了示例代码。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在做项目时需要检测文件的编码格式，经过查阅发现icu4j可以解决这个问题。

代码如下：

package org.apache.lucene.analysis.icu.segmentation;

import java.io.File;
import java.io.IOException;
import java.nio.file.Files;
import java.nio.file.Path;
import java.nio.file.Paths;

import com.ibm.icu.text.CharsetDetector;
import com.ibm.icu.text.CharsetMatch;

public class TestFileEncoding {

	public static void main(String[] args) {
		//System.getProperties().list(System.out);
		//System.out.println(System.getProperty("user.dir"));
		File file = new File("FileEncodingTest");
		File[] files = file.listFiles();
		try {
			for(File f:files){
				tryEncoding(f.getPath());	
			}
			
		} catch (IOException e) {
			e.printStackTrace();
		}

	}

	public static void tryEncoding(String fileName) throws IOException {
		System.out.println("===Getting encoding of " + fileName);
		Path path = Paths.get(fileName);
		byte[] data = Files.readAllBytes(path);
		CharsetDetector detector = new CharsetDetector();
		detector.setText(data);
		CharsetMatch match = detector.detect();
		String encoding = match.getName();
		System.out.println("The Content in " + encoding);
		CharsetMatch[] matches = detector.detectAll();
		System.out.println("All possibilities:");
		for (CharsetMatch m : matches) {
//			System.out.println("  CharsetName:" + m.getName() + " Confidence:" + m.getConfidence());
		}
	}
}

测试发现，记事本保存格式为utf-8的输出格式为utf-8，保存格式为ansi输出为GB18030