ValueError: All strings must be XML compatible: Unicode or ASCII, no NULL bytes or control character

最新推荐文章于 2024-02-02 16:54:11 发布

yg838457845

最新推荐文章于 2024-02-02 16:54:11 发布

阅读量3.4k

点赞数 2

分类专栏：爬虫文章标签：爬虫数据

本文链接：https://blog.csdn.net/yg838457845/article/details/100660502

版权

爬虫专栏收录该内容

1 篇文章 0 订阅

订阅专栏

在网页爬虫时，当出现上述问题，原因是一些控制字符（unicode）的问题，因此需要删除控制字符，如下：

def remove_control_characters(html):
    def str_to_int(s, default, base=10):
        if int(s, base) < 0x10000:
            return chr(int(s, base))
        return default
    html = re.sub(u"&#(\d+);?", lambda c: str_to_int(c.group(1), c.group(0)), html)
    html = re.sub(u"&#[xX]([0-9a-fA-F]+);?", lambda c: str_to_int(c.group(1), c.group(0), base=16), html)
    html = re.sub(u"[\x00-\x08\x0b\x0e-\x1f\x7f]", "", html)
    return html