【程序员常识】为什么会有Unicode,UTF-8以及ASCII等编码?(中文注释的坏处及中文乱码的原因) 时间2021/12/6

前言

在这里插入图片描述

最近在学python,突然发现了这个东西。

# -*- coding: utf-8 -*-

请添加图片描述
原来这东西是为了告诉Python解释器,按照UTF-8编码读取源代码,否则,你在源代码中写的中文输出可能会有乱码。

突然想起了有些时候我以前喜欢写一些中文注释,但是当我换了别的代码编辑器时,我辛辛苦苦写的注释就变成了一团乱码。

请添加图片描述

然后我就从网上寻找解决方法,反正都是具体的解决方法,如下图所示,反正改完也是蒙蒙的。
在这里插入图片描述

所以我就产生好奇,看完编码的前世今生后,我终于晓得原来出现乱码的原因就是因为编码类型不同,翻译出来就飞了,变成所谓的乱码,只要选择同样的编码类型就行了。

这时,作为中文注释爱好者的我就想问了:为啥要有这么多的编码类?假如只有一种,那么就没有那么多烦恼了。
请添加图片描述

回答

首先要理解下面这些概念。
在三者中,ASCII是最先有的编码,它能够使用 32 到 127 之间的数字来表示每个字符,它的出现是因为当时的计算机都是8 位字节,且基本都是英语(懂得都懂),所以他们没有考虑到别的语言。

后面计算机开始发展,别的语言也需要表示啊,所有不同的国家就用后面128到255位各自代表了自己的语言, 例如,在某些 PC 上,字符代码 130 将显示为 é,但在以色列销售的计算机上,它是希伯来字母 Gimel(ג),总结来说就是因为编码的规则不同,同样的字符代码在不同国家的机器上被翻译成了不同意思,也就成了乱码。

所以后面就有人提出了Unicode这种编码,也就是统一码的意思,大家都用同一种编码形式,那么这样大家就有了同样的语言,就不会出现乱码了。

而UTF-8呢,其实就是Unicode的一种编码实现方式,它的特点是,可变长的编码方式。

UTF-8编码把一个Unicode字符根据不同的数字大小编码成1-6个字节,常用的英文字母被编码成1个字节,汉字通常是3个字节,只有很生僻的字符才会被编码成4-6个字节。如果你要传输的文本包含大量英文字符,用UTF-8编码就能节省空间。

趣闻

还有一个趣闻,当时Unicode刚出来的几年里,一直被大多数人忽略,后面推出了UTF-8才慢慢被接受并推广。
大家都知道现在的ASCII编码几乎是可以和UTF-8通用的,但是Unicode最开始推出时,他们两者并不通用,所以要使用英语,也需要和使用其他语言一样去查找Unicode的字母表。

请添加图片描述

  • 2
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 可以使用 Python 的内置函数 `open()` 打开二进制文件。然后,可以使用内置的 `read()` 函数读取文件的内容。 为了能够正确地解码文件中的中文汉字,需要指定文件的编码格式。如果不确定文件的编码格式,可以使用 Python 的 `chardet` 库来检测编码格式。 下面是一个示例代码,假设文件名为 `file.bin`: ```python import chardet # 检测文件的编码格式 with open('file.bin', 'rb') as f: data = f.read() result = chardet.detect(data) encoding = result['encoding'] # 使用检测到的编码格式打开文件 with open('file.bin', 'r', encoding=encoding) as f: content = f.read() print(content) ``` 上面的代码首先使用 `chardet` 库检测文件的编码格式,然后使用检测到的编码格式来打开文件。最后,使用 `read()` 函数读取文件内容并打印出来。 ### 回答2: 使用Python打开二进制文件并打印不同编码格式的中文汉字可以通过以下步骤实现: 1. 首先,使用Python的内置open()函数以二进制模式打开文件,指定文件路径和打开模式。 2. 读取文件内容,使用read()函数将文件内容读取为字节流,存储在一个变量中。 3. 通过不同编码格式对字节流进行解码,并打印出中文汉字。 下面是一个示例代码: ```python # 打开二进制文件 with open('file.bin', 'rb') as file: # 读取文件内容 data = file.read() # 打印GB2312编码中文汉字 print(data.decode('gb2312')) # 打印GB18030编码中文汉字 print(data.decode('gb18030')) # 打印GBK编码中文汉字 print(data.decode('gbk')) # 打印BIG5编码中文汉字 print(data.decode('big5')) # 打印Unicode编码中文汉字 print(data.decode('unicode_escape')) # 打印UTF-8编码中文汉字 print(data.decode('utf-8')) # 打印UTF-16 BE(大端序)编码中文汉字 print(data.decode('utf-16-be')) # 打印UTF-16 LE(小端序)编码中文汉字 print(data.decode('utf-16-le')) ``` 请确保将代码中的`file.bin`替换为实际的二进制文件路径。这样,代码使用给定的编码格式打印出文件中相应格式的中文汉字。 ### 回答3: 首先,要使用Python打开一个二进制文件,可以通过以下步骤实现: 1. 使用`open()`函数以二进制模式打开文件,指定参数`'rb'`。 2. 使用`read()`函数读取文件的内容,并将其保存在一个变量中。 接下来,我们需要将这些二进制数据解码为不同的编码格式来打印中文汉字。下面是针对不同编码格式的解码方法: 1. 对于GB2312编码,可以使用`decode()`函数将二进制数据解码为字符串,并指定参数`'gb2312'`。 2. 对于GB18030编码,可以使用`decode()`函数将二进制数据解码为字符串,并指定参数`'gb18030'`。 3. 对于GBK编码,可以使用`decode()`函数将二进制数据解码为字符串,并指定参数`'gbk'`。 4. 对于BIG5编码,可以使用`decode()`函数将二进制数据解码为字符串,并指定参数`'big5'`。 5. 对于unicode编码,可以使用`decode()`函数将二进制数据解码为字符串,并指定参数`'unicode'`。 6. 对于UTF-8编码,可以使用`decode()`函数将二进制数据解码为字符串,并指定参数`'utf-8'`。 7. 对于UTF-16 BE编码,可以使用`decode()`函数将二进制数据解码为字符串,并指定参数`'utf-16 be'`。 8. 对于UTF-16 LE编码,可以使用`decode()`函数将二进制数据解码为字符串,并指定参数`'utf-16le'`。 最后,我们可以使用`print()`函数将解码后的字符串打印出来。 以下是一个示例代码,实现了打开一个二进制文件,并以不同的编码格式打印出中文汉字: ```python # 打开二进制文件 with open('binary_file.bin', 'rb') as file: content = file.read() # 解码并打印中文汉字 print(content.decode('gb2312')) print(content.decode('gb18030')) print(content.decode('gbk')) print(content.decode('big5')) print(content.decode('unicode')) print(content.decode('utf-8')) print(content.decode('utf-16 be')) print(content.decode('utf-16le')) ``` 请注意,以上代码中的`binary_file.bin`是一个示例二进制文件名,你需要将其替换为你要打开的实际二进制文件的路径或文件名。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值