Python 中beautifulsoup乱码(实际上是requests返回结果乱码)

Python 中beautifulsoup乱码(实际上是requests返回结果乱码)

for url in urls:
    resp = rq.get(url)
    # print(resp.content)
    bs = bs4.BeautifulSoup(resp.text, "html.parser")
    h1 = bs.findAll("h1")
    pattern = re.compile("^2019年(.+)招生计划$")
    pattern.match(h1[0].text)

    print(h1[0].text)  # .encode("utf8") string.decode("utf8")

    # res = bs.findAll(is_entry_class)
    res = bs.select("div.entry table")

    if res is not None:
        i = i+1
        print(i)
        for child in res[0].tbody.children:
            row = []
            for son in child.children:
                row.append(son.text)
            print("\t".join(row))
        print()

调试发现 resp 返回结果采用ISO-8859-1 编码,而实际网站中头部中字符集为utf8

<html xmlns="http://www.w3.org/1999/xhtml"><head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<title>2019年...</title>

在这里插入图片描述
调试方法:
直接修改返回结果的编码

for url in urls:
    resp = rq.get(url)
    # print(resp.content)
    resp.encoding = "utf8"
    ...
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值