解决爬虫时遇到标题特殊编码导致存入为空的问题

最新推荐文章于 2023-03-14 20:39:11 发布

kong_and_white

最新推荐文章于 2023-03-14 20:39:11 发布

阅读量248

点赞数

分类专栏：爬虫文章标签： python 爬虫

本文链接：https://blog.csdn.net/kong_and_whit/article/details/120456059

版权

爬虫专栏收录该内容

2 篇文章 0 订阅

订阅专栏

前言：
今天写爬虫的时候报了特殊编码的错，像b‘\xd8’（这个印象最深）

>>> '\xd8'
'Ø'

标题中的0用了Ø来表示，导致控制台报错，并且存入题目为空字符串。
解决办法如下：

import chardet
for index, font in enumerate(title):
     try:
         font_encoding = chardet.detect(font)['encoding']
     except TypeError:
         continue
     else:
         title[index] = font.decode(font_encoding)

detect函数会返回字节的编码类型，如果使用字符串类型会报TypeError的错

>>> chardet.detect(b'\xd8')
{'encoding': 'ISO-8859-1', 'confidence': 0.73, 'language': ''}

>>> chardet.detect('\xd8')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "C:\Users\topsec\AppData\Roaming\Python\Python39\site-packages\chardet\__init__.py", line 36, in detect
    raise TypeError('Expected object of type bytes or bytearray, got: '
TypeError: Expected object of type bytes or bytearray, got: <class 'str'>