python中lxml使用方式

最新推荐文章于 2024-05-20 11:31:07 发布
最新推荐文章于 2024-05-20 11:31:07 发布
阅读量6.1k 收藏 9
点赞数 1
分类专栏： Python 文章标签： python

前言

前面已经学习了requests和beautifulsoup库的知识，大家可以看，，今天再来学习一下用一种网页解析的库lxml。

lxml是Python语言里和XML以及HTML工作的功能最丰富和最容易使用的库。lxml是为libxml2和libxslt库的一个Python化的绑定。它与众不同的地方是它兼顾了这些库的速度和功能完整性，以及纯Python API的简洁性，大部分与熟知的ElementTree API兼容但比之更优越。

lxml库的安装

pip install lxml

利用 pip 安装即可

lxml库的简单用法

首先我们利用它来解析 HTML 代码，先来一个小例子来感受一下它的基本用法。

fromlxml importetree

text ='''

<div>

<ul>

<li class="item-0"><a href="link1.html">first item</a></li>

<li class="item-1"><a href="link2.html">second item</a></li>

<li class="item-inactive"><a href="link3.html">third item</a></li>

<li class="item-1"><a href="link4.html">fourth item</a></li>

<li class="item-0"><a href="link5.html">fifth item</a>

</ul>

</div>

'''

html =etree.HTML(text)

result =etree.tostring(html)

print(result)

首先我们使用 lxml 的 etree 库，然后利用 etree.HTML 初始化，然后我们将其打印出来。其中，这里体现了 lxml 的一个非常实用的功能就是自动修正 html 代码，大家应该注意到了，最后一个 li 标签，其实我把尾标签删掉了，是不闭合的。不过，lxml 因为继承了 libxml2 的特性，具有自动修正 HTML 代码的功能。

<html><body><div>

<ul>

<li class="item-0"><a href="link1.html">first item</a></li>

<li class="item-1"><a href="link2.html">second item</a></li>

<li class="item-inactive"><a href="link3.html">third item</a></li>

<li class="item-1"><a href="link4.html">fourth item</a></li>

<li class="item-0"><a href="link5.html">fifth item</a>

</li></ul>

</div>

</body></html>

不仅补全了 li 标签，还添加了 body，html 标签。

文件读取

除了直接读取字符串，还支持从文件读取内容。比如我们新建一个文件叫做 hello.html，内容为

<div>

<ul>

<li class="item-0"><a href="link1.html">first item</a></li>

<li class="item-1"><a href="link2.html">second item</a></li>

<li class="item-inactive"><a href="link3.html"><span class="bold">third item</span></a></li>

<li class="item-1"><a href="link4.html">fourth item</a></li>

<li class="item-0"><a href="link5.html">fifth item</a></li>

</ul>

</div>

利用 parse 方法来读取文件，同样可以得到相同的结果。

fromlxml importetree

html =etree.parse('hello.html')

result =etree.tostring(html,pretty_print=True)

print(result)

实例测试

以上一段程序为例。

（1）获取所有的 li 标签

fromlxml importetree

html =etree.parse('hello.html')

printtype(html)

result =html.xpath('//li')

printresult

printlen(result)

printtype(result)

printtype(result[0])

#运行结果

<type'lxml.etree._ElementTree'>

[<Element li at 0xc54f288>,<Element li at 0xc56e888>,<Element li at 0xc541408>,<Element li at 0xced7e88>,<Element li at 0xced7508>]

5

<type'list'>

<type'lxml.etree._Element'>

可见，etree.parse 的类型是 ElementTree，通过调用 xpath 以后，得到了一个列表，包含了 5 个 li 元素，每个元素都是 Element 类型。

（2）获取 li 标签的所有 class

result =html.xpath('//li/@class')

printresult

#运行结果

['item-0','item-1','item-inactive','item-1','item-0']

（3）获取 li 标签下 href 为 link1.html 的 a 标签

result =html.xpath('//li/a[@href="link1.html"]')

printresult

#运行结果

[<Element a at 0xc522a88>]

（4）获取 li 标签下的所有 span 标签

因为 / 是用来获取子元素的，而 span 并不是 li 的子元素，所以，要用双斜杠。

result =html.xpath('//li//span')

printresult

#[<Element span at 0x10d698e18>]

（5）获取 li 标签下的所有 class，不包括 li

result =html.xpath('//li/a//@class')

printresult

#['bold']

（6）获取最后一个 li 的 a 的 href

result =html.xpath('//li[last()]/a/@href')

printresult

#['link5.html']

（7）获取倒数第二个元素的内容

result =html.xpath('//li[last()-1]/a')

printresult[0].text

# fourth item

（8）获取 class 为 bold 的标签名

result =html.xpath('//*[@class="bold"]')

printresult[0].tag

# span

小结

希望通过上面的内容能帮助大家深刻理解和学习Python爬虫。如果你有什么好的意见，建议，或者有不同的看法，我都希望你留言和我们进行交流、讨论。


转自 http://www.sohu.com/a/128890301_624356


think_ma
关注
  • 1
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python操作lxml库（基础篇）
醉蕤的博客
08-16 1万+
Python操作lxml库（基础篇），
超实用的 Python 库之lxml使用详解
Rocky006的博客
01-10 4382
XML（可扩展标记语言）和HTML（超文本标记语言）是广泛用于数据交换和网页构建的标记语言。在Python中，有许多库可以用来解析和处理XML和HTML文档，其中最强大和常用的之一是lxml。lxml是一个高性能、功能丰富的库，它提供了强大的XML和HTML处理功能。本文将深入介绍Python lxml库，包括其基本用法、XPath查询、XML和HTML解析、数据提取和实际应用场景，并提供丰富的示例代码，以帮助大家充分利用这个强大的工具。
Python库之lxml的简介、安装、使用方法详细攻略
最新发布
shadowtalon的博客
05-20 720
详细解释HTTP请求头可以携带额外的信息，如用户代理、认证信息、内容类型等。在requests中，你可以通过headers参数自定义这些请求头。q=0.5',详细解释除了表单数据和文件，requests还允许你发送自定义的请求体，比如JSON格式的数据。这在使用API时特别有用，因为许多API都要求使用JSON格式。data = {本文详细介绍了requests。
python爬虫6：lxml库
weixin_46676835的博客
08-14 1798
python爬虫6：lxml库
python中第三方库——lxml库的最新详细安装教程
amiyashirou的博客
08-06 8652
python中第三方库——lxml库的安装教程，利用whl轮子进行安装
lxml模块详解
weixin_40013461的博客
10-13 3353
lxml是python的一个解析库，支持HTML和XML解析
python lxml使用文档
04-14
美国新墨西哥理工大学的官方教程，详细说明了如何利用python lxml模块进行xml进行解析 比lxml官方教程更清晰易懂，共56页
Python lxml模块的基本使用方法分析
09-18
主要介绍了Python lxml模块的基本使用方法,结合实例形式分析了Python安装与使用lxml模块常见操作技巧与相关注意事项,需要的朋友可以参考下
python 的lxml
11-19
python 的lxml文件，install wheel后使用。。。。。。。。
python利用lxml读写xml格式的文件
09-21
主要为大家详细介绍了python利用lxml读写xml格式的文件，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
python教程lxml详解
04-06
lxml是一个用于Python的XML和HTML处理库，它提供了高效、灵活和易于使用的API，用于解析、操作和生成XML和HTML文档。lxml基于libxml2和libxslt C库，因此在处理大型XML和HTML文档时，它具有优异的性能。
lxml基本使用
永远相信美好的事情即将发生
11-15 784
lxml是python的一个解析库，支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高XPath，全称XML Path Language，即XML路径语言，它是一门在XML文档中查找信息的语言，它最初是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索。XPath的选择功能十分强大，它提供了非常简明的路径选择表达式，另外，它还提供了超过100个内建函数，用于字符串、数值、时间的匹配以及节点、序列的处理等，几乎所有我们想要定位的节点，都可以用XPath来选择。
python lxml用法详解_Python-- lxml用法
weixin_34570232的博客
01-28 1834
目录lxml库(lxml安装可查看上一篇文章)Element类1、节点操作2、属性操作3、文本操作4、文件解析与输出5、ElementPath6、案例(尤其最后的一篇代码)lxml库(lxml安装可查看上一篇文章)python的HTML/XML的解析器官方文档： http://lxml.de/index.html功能：解析HTML文件读取etree和XPath的配合使用围绕三个问题:问题1：有...
咱们来看看爬虫三大库---Lxml库（精简版）
qq_44692189的博客
06-15 660
文章目录前言：1.修正HTML代码3.解析HTML文件 前言： Lxml库是基于libxm12 的XML解析库的Python封装。该模块使用C语言编写，解析速度比BeautifulSoup更快。Lxml库使用Xpath语法解析定位网页数据。在这里将讲解介绍Lxml库的使用方法及Xpath的语法知识，而且通过案例对正则表达式、BeautifulSoup 和Lxml进行性能对比，最后通过一个综合案例巩固Xpath语言的学习。 1.修正HTML代码 Lxml为XML解析库，但也很好地支持了HTML文档的解析功能，
使用python的lxml解析html
yuhai.china
02-04 289
首先是安装lxml doc.xpath()返回一个满足条件的list [code="java"] # coding=gb2312 from lxml import * import lxml.html import urllib2 import lxml.html as H def getjarinfo(url): c=urllib2.urlopen(url)...
python进阶（lxml的用法）
鲨鱼儿的博客
11-18 8196
本节处理的文件如下，文件名为：webhtml.html &lt;!DOCTYPE html&gt; &lt;html&gt; &lt;head&gt; &lt;title&gt;漏斗图&lt;/title&gt; &lt;script type="text/javascript" src="./echarts.js"&gt;&a
Python XML处理初级篇：入门lxml库
weixin_68789096的博客
08-21 751
在数据处理过程中，XML（可扩展标记语言）常常被用作数据存储和传输。Python的lxml库是一个强大的库，用于解析XML和HTML文档。本文将向您介绍如何使用lxml库来解析和处理XML文档。
10.lxml简单的使用
YANG_xiao_QI的博客
05-07 450
为了能够在XML (关于XML技术，可参照htp://ww.w3school.comn.cn/xmnl/进行完整学习)文档树中准确地找到某个节点，引入了XPath的概念。 1.XPath,是基于文档的层次结构来确定查找路径的 2.区分正则表达式和XPath: (1)用正则表达式进行查找，则它会告诉你这个建筑本身有哪些特征，以及它的左边是什么，右边是什么。这样的描述限定查找的范围较大 (2)而XPath会直接告诉你这个建筑位于“中国-北京-昌平区-建材城西路-金燕龙办公楼- -层"，相比较而言,这种描述更加具
Python中lxml模块的安装（Ubuntu下）
Hyman的博客
12-14 3160
1、安装libxml2 $ sudo apt-get install libxml2 libxml2-dev         libxml2默认的安装目录是/usr/include/libxml2 2、安装 libxslt $ sudo apt-get install libxlst libxslt-dev                 这一步是网上很多资料给出的，但
python 使用lxml遍历
07-28
要使用lxml库遍历XML文档，你可以按照以下步骤进行操作： 1. 导入lxml库中的etree模块： ```python from lxml import etree ``` 2. 使用etree.parse()函数解析XML文件： ```python tree = etree.parse('example.xml') ``` 3. 获取根元素： ```python root = tree.getroot() ``` 4. 使用XPath表达式遍历元素： ```python for element in root.xpath('//tag_name'): # 处理元素逻辑 pass ``` 在上述代码中，`example.xml`是你要解析的XML文件名。你可以将其替换为你自己的文件名。 `tree.getroot()`会返回XML文档的根元素，然后你可以使用`root.xpath()`方法结合XPath表达式来查找特定的元素。在上面的示例中，XPath表达式`//tag_name`将匹配所有名称为`tag_name`的元素。 在遍历元素时，你可以在`for`循环中添加适当的逻辑来处理每个元素。 希望这能帮助你使用lxml库进行XML遍历！如果还有其他问题，请随时提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值