Python3 HTML数据解析(lxml/BeautifulSoup/JsonPath)

Python3 HTML数据解析(lxml/BeautifulSoup/JsonPath)

---

本文由 Luzhuo 编写,转发请保留该信息.
原文: https://blog.csdn.net/Rozol/article/details/79968795

---

以下代码以Python3.6.1为例
Less is more!

lxml

#!/usr/bin/env python
# coding=utf-8
__author__ = 'Luzhuo'
__date__ = '2018/4/16'

'''
    lxml 是一个 HTML/XML 的解析器, 主要用于解析和提取 HTML/XML 数据
    lxml由 C 实现的, 我们可以用 XPath 语法来快速的定位结点
    pip install lxml
    lxml-4.2.1
    xpath文档: http://www.w3school.com.cn/xpath/

'''

from lxml import etree

text = '''
<div>
    <ul>
        <li class="item_0">
           <a href="/i/0123">条目1</a>
        </li>
        <li class="item_1">
           <a href="/i/01234">条目2</a>
        </li>
        <li class="item_2">
            <a href="/i/012345">条目3</a>
        </li>
        <li class="item_0">
            <a href="/i/0123456">条目4</a>
        <li class="item_1">
            <a href="/i/01234567">条目5</a>
    </ul>
</div>
'''


# 第三方库lxml的演示
def lxml_demo():
    # 解析成html, 会自动修正html
    html = etree.HTML(text)
    # html = etree.parse('text.html')  # 从文件解析
    print(etree.tostring(html))

    # 使用xpath匹配
    result = html.xpath('//li')  # 所有<li>
    result = html.xpath('//li/@class')  # 所有<li>下的class属性
    result = html.xpath('//li/a[@href="/i/0123456"]')  # 所有<li>下<a>标签href属性为"/i/0123456"的标签
    result = html.xpath(