python 爬虫 中乱码问题0xb5 和b'\x1f\x8b\x08

在爬取网页时经常碰到乱码问题，其中：

b'\x1f\x8b\x08开头：

import gzip
ret = gzip.decompress(res).decode("utf-8")

另外一位博主的解决：

import urllib.request
from io import BytesIO
import gzip

response = urllib.request.urlopen(url)
html = response.read()
print(html)
buff = BytesIO(html)
f = gzip.GzipFile(fileobj=buff)
res = f.read().decode('utf-8')
print(res)

道理是一样的

另外的解决方案：

用requests解决

import requests
page = requests.get(url).text

解决方案：

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb5 in position 238: invalid start byte

page = urllib.request.urlopen(url)
# page_info = page.read()
page_info = page.read().decode('GBK')

---

requests.get(url) 乱码：

<p>æ¨è¦è®¿é®çç½é¡µææ¶æ æ³æå¼ï¼å¯è½çåå æ¯ï¼</p><p>1ãç³»ç»æ­£å¨è¿è¡ç»´æ¤ï¼è¯·ç¨åå访é®ï¼</p>

设置请求对象字符格式

resp.encoding = 'utf-8'

即可