python3爬虫编码问题

使用爬虫爬取网页经常遇到各种编码问题，因此产生乱码

今天折腾了一天，全部总结一遍

环境：win10,pycharm,python3.4
1.首先先来网页编码是utf-8的：
以百度首页为例：
使用requests库

import requests

url="http://www.baidu.com"
response = requests.get(url)
content = response.text
print(content)

结果有代码显示，但是出现乱码

使用urllib库

import urllib.request

response = urllib.request.urlopen('http://www.baidu.com')
print(response.read())

结果有代码显示，但是以二进制返回

接下来介绍encode()和decode()方法
encode()用于解码，decode()方法用于编码
注：python3默认编码为utf-8
例1：

text = '中华'
print(type(text))
print(text.encode('gbk'))#以gbk形式解码，即把utf-8的字符串text转换成gbk编码
print(text.encode('utf-8'))#以utf-8形式解码，因为原本是utf-8编码，所以返回二进制
print(text.encode('iso-8859-1'))#报错

返回结果：
<class 'str'>
b'\xd6\xd0\xbb\xaa'
b'\xe4\xb8\xad\xe5\x8d\x8e'
UnicodeEncodeError: 'latin-1' codec can't encode characters in position 0-1: ordinal not in range(256)
为什么第四个报错？
我查寻了一下latin-1是什么？
Latin1是ISO-8859-1的别名，有些环境下写作Latin-1。
ISO-8859-1编码是单字节编码。
Unicode其实是Latin1的扩展。只有一个低字节的Uncode字符其实就是Latin1字符（这里认为unicode是两个字节，事实上因为各种版本不一样，字节数也不一样）
所以我的理解是：因为中文至少两个字节，所以不能解码出来

例2：

text = '中华'
print(type(text))	#<class 'str'>
text1 = text.encode('gbk')
print(type(text1))	#<class 'bytes'>
print(text1)	#b'\xd6\xd0\xbb\xaa'
text2 = text1.decode('gbk')
print(type(text2))	#<class 'str'>
print(text2)	#中华
text3 = text1.decode('utf-8')	#报错：UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd6 in position 0: invalid continuation byte
print(text3)

text4= text.encode('utf-8')
print(type(text4))	#<class 'bytes'>
print(text4)	#b'\xe4\xb8\xad\xe5\x8d\x8e'
text5 = text4.decode('utf-8')
print(type(text5))	#<class 'str'>
print(text5)	#中华
text6 = text4.decode('gbk')		#报错：UnicodeDecodeError: 'gbk' codec can't decode byte 0xad in position 2: illegal multibyte sequence
print(text6)

为什么text3和text6会报错呢？
因为他们解码和编码使用的编码标准不一样。text1是用gbk解码，那么用utf-8编码回去就会报错，text6同理

好，回到百度例子，那么我们要怎么样才能看到我们想要的网页源代码呢？
使用requests库

import requests

url="http://www.baidu.com"
response = requests.get(url)
content = response.text.encode('iso-8859-1').decode('utf-8')
#把网页源代码解码成Unicode编码,然后用utf-8编码
print(content)

使用urllib库

import urllib.request

response = urllib.request.urlopen('http://www.baidu.com')
print(response.read().decode(utf-8))

2.关于网页源代码是gbk或者gb2312编码的网页：

import requests
response = requests.get('http://www.dytt8.net/')
#print(response.text)
html = response.text

print(html)

结果返回乱码
 

import urllib.request
#get请求
response = urllib.request.urlopen('http://www.baidu.com')
print(response.read())

结果返回二进制

正确代码：

import requests
response = requests.get('http://www.dytt8.net/')
#print(response.text)
html = response.text.encode('iso-8859-1').decode('gbk')

print(html)

import urllib.request
#get请求
response = urllib.request.urlopen('http://www.dytt8.net/')
print(response.read().decode('gbk'))

附：如何看网页源代码的编码格式？

使用F12查看网页源代码的head标签里的meta标签

如：

2019.6.18添加：

ASCII字符集 ：
    ASCII（American Standard Code for Information Interchange，美国信息交换标准代码）是基于拉丁字母的一套电脑编码系统，用于显示现代英语，主要包括控制字符（回车键、退格、换行键等）和可显示字符（英文大小写字符、阿拉伯数字和西文符号）。
    基本的ASCII字符集，使用7位（bits）表示一个字符，共128字符。ASCII的扩展字符集使用8位（bits）表示一个字符，共256字符，方便支持欧洲常用字符。
ISO-8859-1字符集：
    拉丁码表，别名Latin-1，用于显示欧洲使用的语言，包括荷兰、丹麦、德语、意大利语、西班牙语等。
    ISO-8859-1使用单字节编码，兼容ASCII编码。
GBxxx字符集：
    GB就是国标的意思，是为了显示中文而设计的一套字符集。
    GB2312：简体中文码表。一个小于127的字符的意义与原来相同。但两个大于127的字符连在一起时，就表示一个汉字，这样大约可以组合了包含7000多个简体汉字，此外数学符号、罗马希腊的字母、日文的假名们都编进去了，连在ASCII里本来就有的数字、标点、字母都统统重新编了两个字节长的编码，这就是常说的"全角"字符，而原来在127号以下的那些就叫"半角"字符了。
    GBK：最常用的中文码表。是在GB2312标准基础上的扩展规范，使用了双字节编码方案，共收录了21003个汉字，完全兼容GB2312标准，同时支持繁体汉字以及日韩汉字等。
    GB18030：最新的中文码表。收录汉字70244个，采用多字节编码，每个字可以由1个、2个或4个字节组成。支持中国国内少数民族的文字，同时支持繁体汉字以及日韩汉字等。
Unicode字符集 ：
    Unicode编码系统为表达任意语言的任意字符而设计，是业界的一种标准，也称为统一码、标准万国码。
    它最多使用4个字节的数字来表达每个字母、符号，或者文字。有三种编码方案，UTF-8、UTF-16和UTF-32。最为常用的UTF-8编码。
    UTF-8编码，可以用来表示Unicode标准中任何字符，它是电子邮件、网页及其他存储或传送文字的应用中，优先采用的编码。互联网工程工作小组（IETF）要求所有互联网协议都必须支持UTF-8编码。所以，我们开发Web应用，也要使用UTF-8编码。它使用一至四个字节为每个字符编码，编码规则：
    1. 128个US-ASCII字符，只需一个字节编码。
    2. 拉丁文等字符，需要二个字节编码。 
    3. 大部分常用字（含中文），使用三个字节编码。
    4. 其他极少使用的Unicode辅助字符，使用四字节编码。