用python解码网页内容,从网页源码上看到charset = gb2312,于是节目就用了
decode('gb2312')
结果报错如下,
UnicodeDecodeError: 'gb2312' codec can't decode bytes in position 334489-334490,
又用chardet测了一下该网页的编码,显示为
{'confidence': 0.99, 'encoding': 'GB2312'} ,99%的概率为gb2312。看来上某位在该网页里注入了少量其他编码字符。
遇到此问题的解决方案,就是忽略这些少量字符。
可以在decode()中加入参数。如:
decode('gb2312', 'ignore')
意思上忽略非gb2312编码的字符,这样就不会报错了。其他类似的参数如下:
默认的参数就是strict,代表遇到非法字符时抛出异常;
如果设置为ignore,则会忽略非法字符;
如果设置为replace,则会用?号取代非法字符;
如果设置为xmlcharrefreplace,则使用XML的字符引用。