前言:最近,学习了Java IO流的相关的知识,想通过读写文件的方式练习和巩固所学知识。在使用File类创建文件时,突然想到,我该如何指定文件使用的编码呢? 进而想到,应该如何查看一个文件的编码呢?
一、问题分析
先去互联网上查找答案,结果如下:
FileInputStream fis=new FileInputStream(“xxxx.txt”);
OutputStreamWriter osw=new OutputStreamWriter(fis,“UTF-8”);
上面的代码大概意思是在写入文件时,写入的字符使用UTF-8编码,和我预想的不一样,我想在创建文件的同时指定编码。像下面这样,
File myfile = new File("test.txt”, “UTF-8”);
if (!myfile.exists()) myfile.createNewFile();
于是,我去查看Java API 8官方文档,File没有提供可以指定字符编码的构造函数。
同时也没提供set或者get等其他访问字符字符编码的方法,说明字符编码不是文件的固有属性。像文件创建时间,文件修改时间,是否可读、可写、可执行,这些都是文件的固有属性,或者说元信息,它们是文件的一部分。
二、字符编码
我们知道,计算机中存储的任何信息都是01串,文字也不例外。
对于字符的处理包括两个过程:编码和解码
编码:把字符"映射“到01串
解码:把01串"映射“到字符
不同的字符编码,例如GBK、UTF-8,编码和解码使用的规则不同。
对于同样的文本字符串:“中国”,使用UTF-8编码保存,一般使用三个字节保存一个汉字,(底层的01字符串的16进制形式)。
使用GBK编码保存,使用两个字节表示一个汉字。
当我们在文本编辑器中写好文字保存时,编辑器会根据你设置的字符编码类型将文本”映射“成01串。
你设置的字符类型,仅仅是编辑器把文字编码成成10串的转换规则而已,并不是文本的属性。
在编辑器打开文本文件时,显示的不是底层的01串,而是文字,是因为编辑器使用某种文字编码,把01串解码为字符。如果,解码时,使用的字符编码和编码时的一致或者兼容,就可以正确显示文本。如果解码时,使用的字符编码和编码时的不一致或者不兼容,就会乱码。
例如,我有一个文本文件使用的是GBK编码,内容是”明月几时有“,
我使用VS code (微软的一款非常好用的文本编辑器)打开文件,用术语说,就是解码文件。其默认使用的文字编码是UTF-8,解码相同。但是,因为我的文本底层是GBK编码的01串(两个字节一个字符),使用UTF-8解码01串,由于编码,解码不一致,必然会导致乱码。这时,只要手动选择对应的GBK编码,解码文件就不会乱码了。
乱码也从侧面说明了,字符编码不是文件的固有属性。
扯了这么多,就是为了说明这一点:字符编码就是解码和编码时用的规则,不是文件的固有属性。
我不禁产生疑惑,为什么当初不把字符编码设置为文件属性的一部分呢?
假设可以设置,并且设置为GBK,那么操作系统需要维护改功能。像一个文件是不可写的,那么有程序试图写文件,操作系统会拒绝写入一样,操作系统必须写入的字节必须是满足GBK编码要求,那么每次写入字节,操作系统都需要检查该字节的合法性,这需要非常大的性能开销,甚至是无法实现的,因为有些特殊字节即可以表示GBK,也可以表示UTF-8,是有歧义的。在说,做这一些的意义是什么,为了编辑器可以在打开文件的时候,可以根据编码属性选择正确的编码吗?没有必要,智能的编辑器,可以根据内容的前几个字节,推断出你的01串使用了什么编码。另外,你也可以手动设置解码所用的字符编码。
三 、问题解决
在创建文件的时候,无法指定文件的编码。在将文字写入(例如文本编辑器的Ctrl + S
保存,本质执行的就是写入操作)文件时,可以选择将文字转换为01串的编码规则。
针对Java程序,代码如下,正是文章最开始提及的代码:
FileInputStream fis=new FileInputStream(“xxxx.txt”);
OutputStreamWriter osw=new OutputStreamWriter(fis,“UTF-8”);