Python爬虫教程-22-lxml-etree和xpath配合使用
- lxml:python 的HTML/XML的解析器
- 官网文档:https://lxml.de/
- 使用前,需要安装安 lxml 包
- 功能:
- 1.解析HTML:使用 etree.HTML(text) 将字符串格式的 html 片段解析成 html 文档
- 2.读取xml文件
- 3.etree和XPath 配合使用
lxml 的安装
- 【PyCharm】>【file】>【settings】>【Project Interpreter】>【+】 >【lxml】>【install】
- 具体操作截图:
lxml-etree 的使用
- 案例v25文件:https://xpwi.github.io/py/py%E7%88%AC%E8%99%AB/py25etree.py
- 用 lxml 来解析HTML代码
# 先安装lxml# 用 lxml 来解析HTML代码from lxml import etreetext = '''<div> <ul> <li class="item-0"><a href="0.html">item 0 </a></li> <li class="item-1"><a href="1.html">item 1 </a></li> <li class="item-2"><a href="2.html">item 2 </a></li> <li class="item-3"><a href="3.html">item 3 </a></li> <li class="item-4"><a href="4.html">item 4 </a></li> <li class="item-5"><a href="5.html">item 5 </a></li> </ul> </div>'''# 利用 etree.HTML 把字符串解析成 HTML 文件html = etree.HTML(text)s = etree.tostring(html).decode()print(s)
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
运行结果
lxml-etree 的使用
- 案例v26etree2文件:https://xpwi.github.io/py/py%E7%88%AC%E8%99%AB/py26etree2.py
- 读取xml文件:
# lxml-etree读取文件from lxml import etreexml = etree.parse("./py24.xml")sxml = etree.tostring(xml, pretty_print=True)print(sxml)
- 1
- 2
- 3
- 4
- 5
- 6
- 7
运行结果
etree和XPath 配合使用
- 案例v26expath.文件:https://xpwi.github.io/py/py%E7%88%AC%E8%99%AB/py26expath.py
- etree和XPath 配合使用:
# lxml-etree读取文件from lxml import etreexml = etree.parse("./py24.xml")print(type(xml))# 查找所有 book 节点rst = xml.xpath('//book')print(type(rst))print(rst)# 查找带有 category 属性值为 sport 的元素rst2 = xml.xpath('//book[@category="sport"]')print(type(rst2))print(rst2)# 查找带有category属性值为sport的元素的book元素下到的year元素rst3 = xml.xpath('//book[@category="sport"]/year')rst3 = rst3[0]print('-------------\n',type(rst3))print(rst3.tag)print(rst3.text)
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
运行结果
etree和XPath 配合使用结果
更多文章链接:Python 爬虫随笔
- 本笔记不允许任何个人和组织转载