python3解析库lxml，爬虫之xpath的基本使用

最新推荐文章于 2024-06-07 18:30:39 发布

BBBrian88

最新推荐文章于 2024-06-07 18:30:39 发布

阅读量1.3k

点赞数 1

分类专栏： python3高级

本文链接：https://blog.csdn.net/BBBrian88/article/details/93192038

版权

python3解析库lxml，爬虫之xpath的基本使用

阅读目录
1、python库lxml的安装
2、XPath常用规则
（1）读取文本解析节点
（2）读取HTML文件进行解析
（3）获取所有节点
（4）获取子节点
（5）获取父节点
（6）属性匹配
（7）文本获取
（8）属性获取
（9）属性多值匹配
（10）多属性匹配
（11）XPath中的运算符
（12）按序选择
（13）节点轴选择
（14）案例应用：抓取TIOBE指数前20名排行开发语言
lxml是python的一个解析库，支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高

XPath，全称XML Path Language，即XML路径语言，它是一门在XML文档中查找信息的语言，它最初是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索

XPath的选择功能十分强大，它提供了非常简明的路径选择表达式，另外，它还提供了超过100个内建函数，用于字符串、数值、时间的匹配以及节点、序列的处理等，几乎所有我们想要定位的节点，都可以用XPath来选择

XPath于1999年11月16日成为W3C标准，它被设计为供XSLT、XPointer以及其他XML解析软件使用，更多的文档可以访问其官方网站：https://www.w3.org/TR/xpath/

1、python库lxml的安装

windows系统下的安装：
#pip安装 pip3 install lxml

#wheel安装
#下载对应系统版本的wheel文件:http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml
pip3 install lxml-4.2.1-cp36-cp36m-win_amd64.whl

linux下安装：
yum install -y epel-release libxslt-devel libxml2-devel openssl-devel

pip3 install lxml
验证安装：$python3

import lxml
wb_data = """
<html><body><div>
            <ul>
                 <li class="item-0"><a href="link1.html">first item</a></li>
                 <li class="item-1"><a href="link2.html">second item</a></li>
                 <li class="item-inactive"><a href="link3.html">third item</a></li>
                 <li class="item-1"><a href="link4.html">fourth item</a></li>
                 <li class="item-0"><a href="link5.html">fifth item</a>
             </li></ul>
         </div>
        </body></html>
        """

html = etree.HTML(wb_data)
html_data = html.xpath('/html/body/div/ul/li/a')
html_data = html.xpath('/html/body/div/ul/li/a/text()')
html_data = html.xpath('//*')<br>#打印是一个列表，需要遍历
html_data = html.xpath('/html/body/div/ul/li/a/@href')
html_data = html.xpath('/html/body/div/ul/li/a[@href="link2.html"]/text()')
html_data = html.xpath('//li/a/text()')
html_data = html.xpath('//li/a//@href')
html_data = html.xpath("//p[@class = 'p']|//p[@class='e']")
html_data = html.xpath('//div[@class = "nice"]/p')
html_data = html.xpath('//li/a[@href="link2.html"]')
html_data = html.xpath('//li[last()]/a/text()')
html_data = html.xpath('//li[last()-1]/a/text()')
print(html_data)
for i in html_data:
   print(i)

2、XPath常用规则

XPath
XPath是一种在xml中查找信息的语言，可以用来在xml文档中对元素和属性进行遍历。
XPath使用路径表达式在xml文档中选取节点，这里注意需要逐级表现要选取节点的父子关系。

XPath 符号

nodename 选取此节点的所有子节点
/ 从根节点选取
// 从匹配选择的当前节点文档中，而不考虑他们位置
. 选取当前节点。
… 选取当前节点的父节点
@ 选取属性
表示通配*
| 连接多个表达式，做并集操作
XPath路径表达
bookstore 选取bookstore元素的所有子节点。
/bookstore 选取根元素bookstore。
假如路径起始于正斜杠。注释：假如路径起始于正斜杠。注释：假如路径起始于正斜杠。注释：假如路径起始于正斜杠 ( / ( / )，则此路径始，则此路径始终代表到某元素的绝对路径！
bookstore/book 选取bookstore子元素中所有book元素。
//book选取所有book元素，而不管它们在文档中的位置。
bookstore//book bookstore 选择bookstore元素的后代中所有book元素，而不管它们位于bookstore下的什么位置
//@auth 选取所有名为auth的属性
XPath谓语
谓语表达了针对该层级节点的筛选条件，常见谓语如下
/book[2] 表示在该级选取第二个book节点
/book[last()] 表示在该级选取最后一个book节点
/book[position()<5] 表示在该级选取前四个book节点
/book[@auth] 表示在该级选取所有拥有auth属性的book节点
/book[@auth=“buka”] 表示在该级选取所有auth属性值为buka的book节点
/book[price>35.00] 表示在该级选取price子元素的值大于35的book节点

（1）读取文本解析节点

from lxml import etree
text='''
<div>
    <ul>
         <li class="item-0"><a href&

最低0.47元/天解锁文章

BBBrian88

关注

1
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
python3解析库lxml，爬虫之xpath的基本使用

python3解析库lxml阅读目录1、python库lxml的安装2、XPath常用规则（1）读取文本解析节点（2）读取HTML文件进行解析（3）获取所有节点（4）获取子节点（5）获取父节点（6）属性匹配（7）文本获取（8）属性获取（9）属性多值匹配（10）多属性匹配（11）XPath中的运算符（12）按序选择（13）节点轴选择（14）案例应用：抓取TIOBE指...
复制链接

扫一扫

专栏目录