解决爬虫中lxml.etree.XMLSyntaxError问题

本文介绍了解决在使用lxml库的etree.parse()方法解析HTML时遇到的XMLSyntaxError错误的方法。主要原因是HTML代码不规范,解决方式是使用etree.HTMLParser()指定编码并解析。
摘要由CSDN通过智能技术生成

在使用lxml中的etree.parse()方法解析HTML页面源码的时候,可能会报错:lxml.etree.XMLSyntaxError。出现这个问题的主要原因是:html代码书写不规范,不符合xml解析器的使用规范。

解决方法

修改代码如下:

  1. 解析本地的HTML源码文件,假设其为:XX.html,根据实际更改。
parser = etree.HTMLParser(encoding="utf-8")
tree = etree.parse('XX.html', parser=parser)
  1. 解析从互联网获取的HTML源码数据。
page_text = requests.get(url, headers).text
parser = etree.HTMLParser(encoding="utf-8")
tree = etree.HTML(page_text, parser=parser)
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值