pythonlxml库_python爬虫--三大库之lxml库

Lxml库

Lxml库是基于libxml2的XML解析库的Python库，该模块使用C语言编写，解析速度比BeautifulSoup更快。

Lxml库使用Xpath语法解析定位网页数据。

1 安装与使用

windows系统下，在cmd命令提示框中，输入如下命令：

pip install lxml

2 lxml库的使用

2.1 修正HTML代码

lxml为xml解析库，但也很好的支持了HTML文档的解析功能；

```

from lxml import etree

text ='''

• red flower

• yellow flower

• white flower

• black flower

• blue flower

'''

# lxml库解析数据，为Element对象

html = etree.HTML(text)

print(html)

# lxml库解析可自动修正HTML

result = etree.tostring(html)

print(result)

```

自动修正HTML是一个非常实用的功能，保证HTML的标准性；

2.2 读取HTML文件

除了读取字符串，lxml库还支持从文件中提取内容；

`from lxml import etree

# 解析html文件

html = etree.parse('flower.html')

result = etree.tostring(html,pretty_print=True)

print(result)`

注意：HTML文件与代码文件在同一层是，用相对路径就可以进行读取；如果不在同一层，使用绝对路径即可。

2.3 解析HTML文件

完成了前面步骤，可利用requests库获取HTML文件，再用LXML库来解析HTML文件；

`from lxml import etree

import requests

res = requests.get('https://www.baidu.com')

html = etree.HTML(res.text)

result = etree.tostring(html,pretty_print=True)

print(result)`

3 性能对比

| 爬取方法 | 性能 | 使用难度 |安装难度

| 正则表达式 | 快 | 困难 |简单(内置模块)

| BeautifulSoup | 慢 | 简单 |简单

| Lxml | 快 | 简单 |简单