utf-8 和 unicode之间关系

ascii、latin、gbk、Big5、unicode都是字符集，用字节来表示字符，除了ascii是1个字节表示字符外，
其它都是使用2个字节表示字符。

为了统一，国际标准化组织 ISO，制定unicode用2个字节来统一全世界所有字符。

美国人不同意，因为unicode是2个字节，相比他之前的ascii的1个字节，增加了1倍的储存空间。于是国际标准化组织提出了一种方案，用UTF-8对unicode进行压缩，由2个字节压缩为1个字节。中文转换以后 3 个字节（中文比较特殊，压缩后反而占内存变3个字节，占空间增大），UTF-8 转换过程中会最终生成的是  1-6 个字节不等的数据

所以说UTF-8是Unicode的压缩，也就是编码。

unicode码是字符串类型，只存在内存中，传输（网络）或者存储（硬盘）必须进行编码，如UTF-8 / UTF-16 / UTF-32 / GBK / GB2312(字节，是二进制数据)

 

# 1. 导入模块

import urllib.request
import urllib.parse
wd = input("请输入查询内容:")

# 2. 发送请求 获取响应

url = "https://www.baidu.com/s?wd="
# 创建请求对象
request = urllib.request.Request(
    url=url + urllib.parse.quote(wd),# urllib.parse.quote 把 url 进行转义
    headers={
        "User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36"
    }
)
# 获取响应
response = urllib.request.urlopen(request)

# 3. 处理数据

data = response.read()
# 把二进制 通过 UTF-8 解码成 unicode
string = data.decode('utf-8')

# 如果写入是一个 w 其实内部需要操作 字符串 转 二进制 写入硬盘
# unicode 数据 编码成 UTF-8
with open('01-baidu.html','w',encoding='utf-8') as f:
    f.write(string)

 

unicode码是字符串类型，只存在内存中，传输（网络）或者存储（硬盘）必须进行编码，如UTF-8 / UTF-16 / UTF-32 / GBK / GB2312(字节，是二进制数据)。

data = response.read()是从网络上传输的数据，是二进制数据；因为以w模式写入，得是字符串，所以要用utf-8解码；而写入硬盘，在硬盘中数据形式得是二进制，所以要encoding='utf-8'进行编码，转成二进制。