Java读取UTF-8格式txt文件第一行出现乱码——问号“?”及解决;Java读带有BOM的UTF-8文件乱码原因及解决方法

Java读取UTF-8的txt文件第一行出现乱码“?”及解决

test.txt文件内容：
A中
2国
3
4
5
6

test.txt文件采用写字板保存为UTF-8格式
保存并关闭后使用写字板再次打开该UTF-8文档，中文、字母正常显示

测试代码：

[java] view plain copy print ?

1. import java.io.BufferedReader;
2. import java.io.File;
3. import java.io.FileInputStream;
4. import java.io.InputStreamReader;
6. public class ReadTxtFile {
8. public static void main(String[] args) {
9. try {
10. String charsetName = "UTF-8";
11. String path = "D:/to_delete/test.txt";
13. File file = new File(path);
14. if (file.isFile() && file.exists())
15. {
16. InputStreamReader insReader = new InputStreamReader(
17. new FileInputStream(file), charsetName);
19. BufferedReader bufReader = new BufferedReader(insReader);
21. String line = new String();
22. while ((line = bufReader.readLine()) != null) {
23. System.out.println(line);
24. }
25. bufReader.close();
26. insReader.close();
27. }
29. } catch (Exception e) {
30. System.out.println("读取文件内容操作出错");
31. e.printStackTrace();
32. }
33. }
35. }

import java.io.BufferedReader; import java.io.File; import java.io.FileInputStream; import java.io.InputStreamReader; public class ReadTxtFile { public static void main(String[] args) { try { String charsetName = "UTF-8"; String path = "D:/to_delete/test.txt"; File file = new File(path); if (file.isFile() && file.exists()) { InputStreamReader insReader = new InputStreamReader( new FileInputStream(file), charsetName); BufferedReader bufReader = new BufferedReader(insReader); String line = new String(); while ((line = bufReader.readLine()) != null) { System.out.println(line); } bufReader.close(); insReader.close(); } } catch (Exception e) { System.out.println("读取文件内容操作出错"); e.printStackTrace(); } } }

程序执行结果：
?A中
2国
3
4
5
6

我的解决办法：

使用UltraEdit将上边的txt文件另存为UTF-8无BOM格式；

或者

使用Notepad++打开上边的txt文件执行如下操作“格式-->以UTF-8无BOM格式编码”，修改后将txt文本进行保存。

网上有篇非常好的文章，论述了问题出现的原因及解决办法

Java读带有BOM的UTF-8文件乱码原因及解决方法

url:http://daimojingdeyu.javaeye.com/blog/397661

关键字: java 读utf-8, java写utf-8, 编码, utf-8 乱码

最近在处理文件时发现了同样类型的文件使用的编码可能是不同的。所以想将文件的格式统一一下(因为UTF-8的通用性，决定往UTF-8统一)，遇见的第一个问题是：如何查看现有文件的编码方式。

上网找了一下，找到几篇比较好文章，这里就不转载啦把链接搞过来。
文件编码问题集锦
字符串编码(charset,encoding，decoding)问题原理
Java编码浅析
判定文件编码或文本流编码的方法
上面的几篇文章可以看成认识编码问题的“从入门到精通”

如果你看完了上面的文章，一定了解到了，在java中，class文件采用utf8的编码方式，JVM运行时采用utf16。Java的字符串是永远都是unicode的，采用的是UTF-16的编码方式。

想测试一下，java对UTF-8文件的读写的能力，结果发现了一个很郁闷的问题，如果通过java写的UTF-8文件，使用Java可以正确的读，但是如果用记事本将相同的内容使用UTF-8格式保存，则在使用程序读取是会从文件中多读出一个不可见字符。
测试代码如下：

Java代码

2. import java.io.BufferedReader;
3. import java.io.File;
4. import java.io.FileInputStream;
5. import java.io.IOException;
6. import java.io.InputStreamReader;
9. public class UTF8Test {
10. public static void main(String[] args) throws IOException {
11. File f = new File("./utf.txt");
12. FileInputStream in = new FileInputStream(f);
13. // 指定读取文件时以UTF-8的格式读取
14. BufferedReader br = new BufferedReader(new InputStreamReader(in, "UTF-8"));
16. String line = br.readLine();
17. while(line != null)
18. {
19. System.out.println(line);
20. line = br.readLine();
21. }
22. }
23. }

[java] view plain copy print ?

1. import java.io.BufferedReader;
2. import java.io.File;
3. import java.io.FileInputStream;
4. import java.io.IOException;