lxml库的基本使用

why do not

已于 2022-04-04 12:38:14 修改

阅读量2.9k

点赞数 1

分类专栏：爬虫文章标签： xml python

于 2020-09-18 10:06:54 首次发布

本文链接：https://blog.csdn.net/qq_42994177/article/details/108659377

版权

爬虫专栏收录该内容

9 篇文章 0 订阅

订阅专栏

使用入门：

导入lxml的etree库
```
from lxml import etree
```
利用etree.HTML，将字符串转换为Element对象
Element对象具有xpath的方法 html = etree.HTML(text)

lxml 是一个HTML/XML的解析器，主要的功能是如何解析和提取 HTML/XML 数据。

基本使用：

可以利用它来解析HTML代码，并且在解析HTML代码的时候，如果HTML代码不规范，会自动的进行补全。示例代码如下：

# 使用 lxml 的 etree 库
from lxml import etree 

text = '''
<div>
    <ul>
         <li class="item-0"><a href="link1.html">first item</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-inactive"><a href="link3.html">third item</a></li>
         <li class="item-1"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a> # 注意，此处缺少一个 </li> 闭合标签
     </ul>
 </div>
'''

#利用etree.HTML，将字符串解析为HTML文档
html = etree.HTML(text) 

# 按字符串序列化HTML文档
result = etree.tostring(html) 

print(result)

输入结果如下：

<html><body>
<div>
    <ul>
         <li class="item-0"><a href="link1.html">first item</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-inactive"><a href="link3.html">third item</a></li>
         <li class="item-1"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
 </div>
</body></html>

可以看到。lxml会自动修改HTML代码。例子中不仅补全了li标签，还添加了body，html标签。

从文件中读取html代码：

除了直接使用字符串进行解析，lxml还支持从文件中读取内容。我们新建一个hello.html文件：

<!-- hello.html -->
<div>
    <ul>
         <li class="item-0"><a href="link1.html">first item</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-inactive"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
 </div>

然后利用etree.parse()方法来读取文件。示例代码如下：

from lxml import etree

# 读取外部文件 hello.html
html = etree.parse('hello.html')
result = etree.tostring(html, pretty_print=True)

print(result)

总结：

解析html字符串：使用lxml.etree.HTML进行解析。示例代码如下：

htmlElement = etree.HTML(text)
print(etree.tostring(htmlElement,encoding='utf-8').decode("utf-8"))

解析html文件：使用lxml.etree.parse进行解析。示例代码如下：

htmlElement = etree.parse("hello.html")
print(etree.tostring(htmlElement, encoding='utf-8').decode('utf-8'))

这个函数默认使用的是XML解析器，所以如果碰到一些不规范的HTML代码的时候就会解析错误，这时候就要自己创建HTML解析器。

parser = etree.HTMLParser(encoding='utf-8')
htmlElement = etree.parse("lagou.html",parser=parser)
print(etree.tostring(htmlElement, encoding='utf-8').decode('utf-8'))

why do not

关注

1
点赞
踩
7

收藏

觉得还不错? 一键收藏
0
评论
lxml库的基本使用

使用入门：导入lxml的etree库 from lxml import etree 利用etree.HTML，将字符串转换为Element对象 Element对象具有xpath的方法 html = etree.HTML(text)lxml 是一个HTML/XML的解析器，主要的功能是如何解析和提取 HTML/XML 数据。基本使用：可以利用它来解析HTML代码，并且在解析HTML代码的时候，如果HTML代码不规范，会自动的进行补全。示例代码如下：# 使用 lxml...
复制链接

扫一扫