文件编码、转换、乱码问题

文件编码

用来表示文本内容的字符集和字符编码方式，决定了在文本文件中使用的字符集和字符的二进制表示方式。常见的文件编码包括 UTF-8、UTF-16、ASCII、ISO-8859-1 等。选择文件编码时，需要考虑到所支持的字符集范围、编码方式对特定语言的支持程度以及文件大小等因素。

服务器编码

服务器用于传输数据的编码方式。常见的服务器编码包括 UTF-8、UTF-16、ASCII、ISO-8859-1 等当浏览器向服务器请求数据时，服务器需要确定将数据以何种编码方式发送。通常服务器会检查请求的 HTTP 头部信息中的 Accept-Encoding 字段，以确定客户端支持的编码方式，然后选择相应的编码方式将数据传输给客户端。

文件编码和服务器编码 什么关系

文件编码决定了文件的内容如何存储，而服务器编码则影响了数据在传输过程中的格式。如果文件是以 UTF-8 编码保存的，而服务器又根据请求选择了压缩传输（比如 gzip 压缩），则服务器在传输文件内容时可能会先将 UTF-8 编码的文件进行压缩，然后再发送给客户端。

确保文件编码和服务器编码相互兼容，避免在数据传输过程中出现乱码或者不正确解析的问题。

文件乱码

文件乱码通常是因为文件的实际内容和读取或解析该内容的编码存在不匹配，导致无法正确解释字符的编码方式。以下是一些常见的导致文件出现乱码的情况：

1. 文件编码方式!=解码方式: 如果文件实际的编码方式与使用的解码方式不匹配，就会导致乱码。例如，用 UTF-8 编码保存的文件，但使用了其他编码（如 ANSI、GBK）来解码读取文件内容，就可能导致乱码。

2. 文件损坏或损坏的数据传输: 文件在传输过程中可能会损坏，导致部分数据丢失或损坏。这可能发生在文件传输时出现网络问题或存储介质损坏等情况下。

3. 软件解析错误: 有时文件内容包含特殊字符或格式，但解析该文件的软件或工具无法正确处理这些字符或格式，导致乱码显示。

4. 错误的文本处理方式: 在处理文本文件时，如果不正确地处理了特殊字符（例如换行符、制表符等），或者在进行文本编辑时使用了不受支持的字符或格式，可能会导致文件乱码。

5. 文件类型和扩展名不匹配: 如果文件的实际内容与文件扩展名或类型不匹配，某些软件可能会尝试使用不正确的方式解析文件内容，导致乱码。

乱码问题的本质 是写文件时 Encoding方式和解析文件时的encoding不一致。比如GBK的文件 用UTF-8进行解析。但服务器编码方式是控制传输，也就是说，传输方式并不是乱码的原因。比如UTF-8的文件，用GBK的服务器传输、接收，但使用相同的UTF-8进行解析，文件也不会乱码。重点在于 写、读的编码一致。

如何正确的将GBK转UTF-8(实际上是unicode转UTF-8)
//源码文件是GBK格式，或者这个字符串是从GBK文件中读取出来的
string gbkstr ="你好!”
//利用getBytes将unicode字符串转成UTF-8格式的字节数组
byte[] utf8Bytes = gbkstr.getBytes("UTF-8")
//然后用utf-8 对这个字节数组解码成新的字符串
String utf8str = new String(utf8Bytes,"UTF-8");

//简化后代码
func unicodeToUtf8 (string s)  {
//保证 写str用utf-8 ，文件转换用utf-8 ；所以第一个参数不是GBK 
return new String( s.getBytes("utf-8") ，"utf-8");
}

避免文件乱码

确保文件的编码方式和使用的解码方式相匹配

在文件传输或处理过程中保持数据的完整性

如何查看文件、服务器编码

file -i filename

locale

#en_US.UTF-8 表示使用美国英语环境且字符编码为 UTF-8。
LANG=en_US.UTF-8
LC_CTYPE="en_US.UTF-8"
LC_NUMERIC="en_US.UTF-8"
LC_TIME="en_US.UTF-8"
LC_COLLATE="en_US.UTF-8"
LC_MONETARY="en_US.UTF-8"
LC_MESSAGES="en_US.UTF-8"
LC_PAPER="en_US.UTF-8"
LC_NAME="en_US.UTF-8"
LC_ADDRESS="en_US.UTF-8"
LC_TELEPHONE="en_US.UTF-8"
LC_MEASUREMENT="en_US.UTF-8"
LC_IDENTIFICATION="en_US.UTF-8"
LC_ALL=