今天用Python爬取豆瓣的时候,发现报错“UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0x83 in position 1:invalid start byte”。
然后发现不管我怎么转码都还是乱码,然后网上搜了下,发现好像是因为请求头的原因导致的。
错误原因竟然是我的 headers 中有一条:
html_header = {
……
'Accept-Encoding': 'gzip, deflate, br',
……
}
这一条是我从web端请求抓过来的,为什么用浏览器可以正常浏览,而用Python模仿就不行呢?
看到网上的一种解释:
本地接收压缩格式的数据,服务器传过来压缩格式gzip的文件,而解压这种gzip文件只能用deflate算法,浏览器能够自动解压,程序却不能自动解压gzip,需要额外进行设置才行。
总结:写爬虫程序时候还是不要写 'Accept-Encoding': 'gzip, deflate'
了,就让服务器传原始文件过来吧,不用压缩了。