时间宝贵/太长不看/懒得往下滑/直接上结论:
当Python中出现"UnicodeDecodeError: ‘gbk’ codec can’t decode byte 0xaa in position……"的报错信息的时候,在命令中加上 encoding=‘utf-8’ 即可解决问题。
背景
最近沉迷Python写爬虫不能自拔,在实践BeautifulSoup的实例时,按照例题输入以下命令:
# 官方举例
from bs4 import BeautifulSoup
soup = BeautifulSoup(open("index.html"))
# 我照做
from bs4 import BeautifulSoup
soup = BeautifulSoup(open('wx.html'))
print(soup)
光速打脸——
soup = BeautifulSoup(open('wx.html'))
Traceback (most recent call last):
File "try.py", line 61, in <module>
soup = BeautifulSoup(open('wx.html'))
File "C:\Users\luwieer\AppData\Local\Programs\Python\Python38\lib\site-packages\bs4\__init__.py", line 309, in __init__
markup = markup.read()
UnicodeDecodeError: 'gbk' codec can't decode byte 0xaa in position 19: illegal multibyte sequence
分析原因
留意到错误代码
UnicodeDecodeError: 'gbk' codec can't decode byte 0xaa in position 19: illegal multibyte sequence
这里的position后面跟的数字当然因人而异。
条件反射,觉得应该是加encoding='gbk'
,然而并不能解决问题。
Google了一下,大家说什么的都有,有要加’rb’的,有说要加encoding='gb2312'
甚至encoding='gb18030'
的。
逐一照做却都不能解决问题。
最后不死心,去看了一眼原html文件,开篇就赫然写着:
<!-- 注意:这个文件是一个公共文件,被很多地方引用,改动需要注意其他类型页面是否有受影响 -->
<!DOCTYPE html>
<html class="
">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta http-equiv="X-UA-Compatible" content="IE=edge">
既然
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
这里已经写明是’UTF-8’了,那就抱着试试看的心情加上参数encoding='utf-8'
一试:
soup = BeautifulSoup(open('wx.html', encoding='utf-8'))
print(soup)
问题圆满解决!