lxml，一个超牛的Python库

黑马非马.

于 2024-08-30 20:41:27 发布

阅读量1k

点赞数 22

分类专栏： Python编程文章标签： python 开发语言后端

本文链接：https://blog.csdn.net/2401_83617404/article/details/141726851

版权

Python编程专栏收录该内容

64 篇文章 0 订阅

订阅专栏

lxml 是一个基于 Python 的库，用于处理 XML 和 HTML。它提供了简洁而高效的接口，以及快速的解析和搜索功能，常用于网络爬虫、数据解析等领域。

如何安装lxml

要使用 lxml 库，首先需要确保它已经安装在您的环境中。可以使用以下命令通过 pip 进行安装：

pip install lxml

安装完成后，您可以在 Python 代码中通过以下方式引入 lxml 库：

from lxml import etree

编程、AI、副业交流：https://t.zsxq.com/19zcqaJ2b

lxml的功能特性

性能：lxml 提供了快速的解析速度和高效的内存使用。
易用性：简洁的 API 设计，易于学习和使用。
功能丰富：支持 XML、HTML 的解析和操作，以及 XPath 和 XSLT 处理。
兼容性：遵循 Python 数据模型，与标准库和其他第三方库兼容。
健壮性：严格的错误处理和异常报告机制。

lxml的基本功能

lxml 是一个 Python 库，提供了简单而有效的处理 XML 和 HTML 数据的方式，速度快且功能强大。

基本功能

解析XML文档

使用 lxml.etree 模块可以轻松解析 XML 文档。

from lxml import etree

# 加载 XML 数据
xml_data = '''
<root>
    <child>Text</child>
    <child>Text</child>
</root>
'''

# 解析 XML
tree = etree.fromstring(xml_data)
print(tree)

查找元素

通过XPath语法可以快速定位到特定的XML元素。

# 获取所有 child 元素
child_elements = tree.xpath('//child')
for element in child_elements:
    print(element.text)

修改元素内容

可以修改 XML 文档中特定元素的内容。

# 修改第一个 child 元素的内容
child_elements[0].text = 'New Text'
print(etree.tostring(tree))

创建XML元素

lxml 允许创建新的 XML 元素并添加到树中。

# 创建一个新的 child 元素并添加到 root
new_child = etree.Element('child')
new_child.text = 'Another Text'
tree.append(new_child)
print(etree.tostring(tree))

XML元素属性操作

可以轻松访问和修改 XML 元素的属性。

# 给第一个 child 元素添加属性
child_elements[0].set('attribute', 'value')
print(etree.tostring(tree))

XML文档验证

lxml 支持使用 XML Schema 验证 XML 文档的合法性。

# 假设有一个 XML Schema 文件 schema.xsd
schema_doc = etree.parse('schema.xsd')
schema = etree.XMLSchema(schema_doc)

# 验证 XML 文档
is_valid = schema.validate(tree)
print('XML is valid:', is_valid)

lxml的高级功能

###XPath查询

from lxml import etree

# 假设有一个HTML文档
html_doc = """
<html>
<head><title>The Dormouse's story</title></head>
<body>
  <p class="title"><b>The Dormouse's story</b></p>
  <p class="story">Once upon a time there were three little sisters; and their names were
  <a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
  <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
  <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
  and they lived at the bottom of a well.</p>
  <p class="story">...</p>
</body>
</html>
"""

# 解析HTML文档
tree = etree.HTML(html_doc)

# 使用XPath查询所有class为'sister'的a标签
sisters = tree.xpath('//a[@class="sister"]')
for sister in sisters:
    print(sister.text)
# 输出:
# Elsie
# Lacie
# Tillie

使用命名空间

from lxml import etree

# 假设有一个XML文档
xml_doc = """
< rss version="2.0" xmlns:dc="http://purl.org/dc/elements/1.1/">
  <channel>
    <title>Example</title>
    <description>Example feed</description>
    <link>http://example.com/</link>
    <dc:date>2023-04-01</dc:date>
  </channel>
</rss>
"""

# 解析XML文档
tree = etree.fromstring(xml_doc)

# 定义命名空间
namespaces = {'dc': 'http://purl.org/dc/elements/1.1/'}

# 使用命名空间查询'dc:date'
date = tree.xpath('//dc:date', namespaces=namespaces)
print(date[0].text)
# 输出: 2023-04-01

文档遍历

from lxml import etree

# 假设有一个XML文档
xml_doc = """
<root>
  <child1>One</child1>
  <child2>Two</child2>
  <child3>
    <subchild1>Three</subchild1>
    <subchild2>Four</subchild2>
  </child3>
</root>
"""

# 解析XML文档
tree = etree.fromstring(xml_doc)

# 遍历所有子节点
for child in tree.iter():
    print(f"Node: {child.tag}, Text: {child.text.strip()}")
# 输出:
# Node: root, Text: 
# Node: child1, Text: One
# Node: child2, Text: Two
# Node: child3, Text: 
# Node: subchild1, Text: Three
# Node: subchild2, Text: Four

文档修改

from lxml import etree

# 假设有一个XML文档
xml_doc = """
<root>
  <child>Original text</child>
</root>
"""

# 解析XML文档
tree = etree.fromstring(xml_doc)

# 修改子节点的文本
child = tree.find('child')
child.text = "Updated text"

# 添加新的子节点
new_child = etree.SubElement(tree, 'new_child')
new_child.text = "New child text"

# 输出修改后的XML文档
print(etree.tostring(tree, pretty_print=True).decode())
# 输出:
# <root>
#   <child>Updated text</child>
#   <new_child>New child text</new_child>
# </root>

文档验证

from lxml import etree
from lxml.etree import XMLSchema

# 假设有一个XML文档和一个XML Schema
xml_doc = """
<root>
  <child attribute="value">Text</child>
</root>
"""

xml_schema = """
<xs:schema xmlns:xs="http://www.w3.org/2001/XMLSchema">
  <xs:element name="root">
    <xs:complexType>
      <xs:sequence>
        <xs:element name="child" type="xs:string" minOccurs="1" maxOccurs="unbounded"/>
      </xs:sequence>
    </xs:complexType>
  </xs:element>
</xs:schema>
"""

# 解析XML文档和Schema
tree = etree.fromstring(xml_doc)
schema = XMLSchema(etree.fromstring(xml_schema))

# 验证XML文档
is_valid = schema.validate(tree)
print("Document is valid:", is_valid)
# 输出: Document is valid: True

lxml的实际应用场景

网页数据抓取

在网页开发中，我们经常需要从网页中提取信息。使用lxml可以方便地解析HTML文档，以下是使用lxml进行网页数据抓取的示例：

from lxml import etree
import requests

# 发送请求获取网页内容
url = 'https://example.com'
response = requests.get(url)
html_content = response.text

# 解析HTML内容
tree = etree.HTML(html_content)
# 获取标题
title = tree.xpath('//title/text()')[0]
print(f'Page Title: {title}')

XML数据解析

在处理XML数据时，lxml可以快速解析并提取所需信息。以下是一个解析XML文件的示例：

from lxml import etree

# XML数据
xml_data = '''
<root>
    <item>
        <name>Item1</name>
        <price>100</price>
    </item>
    <item>
        <name>Item2</name>
        <price>200</price>
    </item>
</root>
'''

# 解析XML
tree = etree.fromstring(xml_data)
# 获取所有价格
prices = tree.xpath('//item/price/text()')
for price in prices:
    print(f'Item price: {price}')

数据清洗与转换

lxml可用于数据清洗和转换，以下是一个将HTML表格数据转换为CSV格式的示例：

from lxml import etree
import csv

# HTML表格数据
html_table = '''
<table>
    <tr><th>Name</th><th>Age</th></tr>
    <tr><td>John</td><td>30</td></tr>
    <tr><td>Jane</td><td>25</td></tr>
</table>
'''

# 解析HTML表格
tree = etree.HTML(html_table)
rows = tree.xpath('//tr')

# 写入CSV文件
with open('output.csv', 'w', newline='') as file:
    writer = csv.writer(file)
    for row in rows:
        cols = row.xpath('.//td/text()')
        writer.writerow(cols)

JSON与XML互转

在处理API数据时，可能需要将JSON格式转换为XML，或者相反。以下是一个将JSON转换为XML的示例：

import json
from lxml import etree

# JSON数据
json_data = {
    "name": "John",
    "age": 30
}

# 转换为XML
root = etree.Element('root')
for key, value in json_data.items():
    child = etree.SubElement(root, key)
    child.text = str(value)

# 输出XML
xml_data = etree.tostring(root, pretty_print=True)
print(xml_data.decode('utf-8'))

文档生成与修改

lxml还可以用于生成和修改XML或HTML文档，以下是一个示例：

from lxml import etree

# 创建一个新文档
root = etree.Element('root')
item1 = etree.SubElement(root, 'item')
item1.set('id', '1')
name = etree.SubElement(item1, 'name')
name.text = 'Item1'

# 修改文档
item2 = etree.SubElement(root, 'item')
item2.set('id', '2')
name = etree.SubElement(item2, 'name')
name.text = 'Item2'

# 输出修改后的文档
print(etree.tostring(root, pretty_print=True).decode('utf-8'))

总结

lxml 是处理 XML 和 HTML 文档的强大库，它不仅效率高，功能也非常全面。从基本解析到高级应用，lxml 提供了丰富的特性和可能性。通过本文的介绍和示例，我们相信读者已经对 lxml 有了更深入的了解，可以在实际开发中运用这些知识，提升工作效率。继续探索和实践 lxml，你将发现更多高效处理数据的技巧。

编程、AI、副业交流：https://t.zsxq.com/19zcqaJ2b
领【150 道精选 Java 高频面试题】请 go 公众号：码路向前。