python学习-编码问题

 一、问题

字符串也是一种数据类型，但是，字符串比较特殊的是还有一个编码问题。（网页上人眼看到的信息都是字符串？）

二、解决方法：编码

最早美国人发明ASCII将127个字符编码到计算机，也就是大小写英文字母、数字和一些符号，比如大写字母A的编码是65，小写字母z的编码是122。

但是要处理中文显然一个字节是不够的，至少需要两个字节，而且还不能和ASCII编码冲突，所以，中国制定了GB2312编码。类似由日本把日文编到Shift_JIS里，韩国把韩文编到Euc-kr里，各国有各国的标准，不可避免地出现冲突，结果就是，在多语言混合的文本中，显示会有乱码。

为解决这个问题，Unicode应运而生。Unicode把所有语言都统一到一套编码里。

三、解决方法：统一编码 

本着节约精神，又出现了把Unicode编码转化为“可变长编码”的UTF-8编码（8-bit Unicode Transformation Format）是一种针对Unicode的可变长度字符编码，又称万国码）。UTF-8编码把一个Unicode字符根据不同的数字大小编码成1-6个字节，常用的英文字母被编码成1个字节，汉字通常是3个字节，只有很生僻的字符才会被编码成4-6个字节。如果你要传输的文本包含大量英文字符，用UTF-8编码就能节省空间：

四、归纳关系 

总结一下现在计算机系统通用的字符编码工作方式：

在计算机内存中，使用Unicode编码，当需要保存到硬盘或者需要传输的时候，就转换为UTF-8编码。

1、用记事本编辑的时候，从文件读取的UTF-8字符被转换为Unicode字符到内存里，编辑完成后，保存的时候再把Unicode转换为UTF-8保存到文件：

2、浏览网页的时候，服务器会把动态生成的Unicode内容转换为UTF-8再传输到浏览器：

所以你看到很多网页的源码上会有类似<meta charset="UTF-8" />的信息，表示该网页正是用的UTF-8编码。

以上引自廖雪峰大神关于编码解释 https://www.liaoxuefeng.com/wiki/1016959663602400/1017075323632896

四、网页编码

html = requests.get(page, headers=headers, timeout = 0.1)
html.encoding = 'utf-8'
soup = BeautifulSoup(html.text, 'html.parser')

这里encoding取用‘utf-8’，确保下面html.text中文可以正确显示（应该是所有的都可以显示吧?）

如果不指定‘utf-8’呢？在程序过程中打印中间结果可能有乱码。

当我们写入文件的时候，指定utf-8

with open(csv_file_name, 'w', encoding = 'utf-8', newline='') as csv_obj:

五、彻底搞定编码关系

参看这个：https://www.cnblogs.com/batsing/p/charset.html