Python3 HTML数据解析(lxml/BeautifulSoup/JsonPath)
本文由 Luzhuo 编写,转发请保留该信息.
原文: https://blog.csdn.net/Rozol/article/details/79968795
以下代码以Python3.6.1为例
Less is more!
lxml
#!/usr/bin/env python
# coding=utf-8
__author__ = 'Luzhuo'
__date__ = '2018/4/16'
'''
lxml 是一个 HTML/XML 的解析器, 主要用于解析和提取 HTML/XML 数据
lxml由 C 实现的, 我们可以用 XPath 语法来快速的定位结点
pip install lxml
lxml-4.2.1
xpath文档: http://www.w3school.com.cn/xpath/
'''
from lxml import etree
text = '''
<div>
<ul>
<li class="item_0">
<a href="/i/0123">条目1</a>
</li>
<li class="item_1">
<a href="/i/01234">条目2</a>
</li>
<li class="item_2">
<a href="/i/012345">条目3</a>
</li>
<li class="item_0">
<a href="/i/0123456">条目4</a>
<li class="item_1">
<a href="/i/01234567">条目5</a>
</ul>
</div>
'''
# 第三方库lxml的演示
def lxml_demo():
# 解析成html, 会自动修正html
html = etree.HTML(text)
# html = etree.parse('text.html') # 从文件解析
print(etree.tostring(html))
# 使用xpath匹配
result = html.xpath('//li') # 所有<li>
result = html.xpath('//li/@class') # 所有<li>下的class属性
result = html.xpath('//li/a[@href="/i/0123456"]') # 所有<li>下<a>标签href属性为"/i/0123456"的标签
result = html.xpath(