【21天Python进阶学习挑战赛】[day16-17]lxml库与Xpath提取网页数据

最新推荐文章于 2024-04-30 19:24:04 发布

王富贵儿。

最新推荐文章于 2024-04-30 19:24:04 发布

阅读量426

点赞数

分类专栏： Python 文章标签： python

本文链接：https://blog.csdn.net/yxz8102/article/details/126367743

版权

Python 专栏收录该内容

10 篇文章 0 订阅

订阅专栏

活动地址：CSDN21天学习挑战赛

学习日记

学习知识点

lxml库与Xpath提取网页数据：100天精通Python（爬虫篇）——第45天：lxml库与Xpath提取网页数据_无羡ღ的博客-CSDN博客_python爬取网页内容

1、lxml库

lxml是XML和HTML的解析器，其主要功能是解析和提取XML和HTML中的数据，是一款高性能的python HTML、XML解析器，也可以利用XPath语法，来定位特定的元素及节点信息。

1.2、安装

输入对应的pip命令：pip install lxml

1.3、解析HTML网页

主要使用的lxml库中的etree类

解析HTML字符串

from lxml import etree

text = '''
<html><body>
    <div class="key">
        <div class="name">无羡</div>
        <div class="age">20</div>
        <div class="address">四川</div>
    </div>
</body></html>
'''
# 开始初始化
html = etree.HTML(text)  # 这里需要传入一个html形式的字符串
print(html)
print(type)
# 将字符串序列化为html字符串
result = etree.tostring(html).decode('utf-8')
print(result)
print(type(result))

# 输出结果
<Element html at 0x1f7fa7f2a80>
<class 'type'>
<html><body>
    <div class="key">
        <div class="name">&#26080;&#32673;</div>
        <div class="age">20</div>
        <div class="address">&#22235;&#24029;</div>
    </div>
</body></html>
<class 'str'>

读取并解析HTML文件

from lxml import etree

# 将html文件进行读取
html = etree.parse('1.html')

# 将html内容序列化
result = etree.tostring(html).decode('utf-8')
print(result)
print(type(result))
html = etree.HTML(result)  # 这里需要传入一个html形式的字符串
print(html)
print(type)

# 输出结果
<html><body>
    <div class="key">
        <div class="name">&#26080;&#32673;</div>
        <div class="age">20</div>
        <div class="address">&#22235;&#24029;</div>
    </div>
</body></html>
<class 'str'>
<Element html at 0x17dffaa4c40>
<class 'type'>

2、Xpath

XPath (XML Path Language) 是一门在 XML 文档中查找信息的语言，可用来在 XML 文档中对元素和属性进行遍历。

2.1、选取节点

说明

表达式说明
nodename 选取此节点的所有子节点。
/ 从根节点选取。
// 从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。
. 选取当前节点。
.. 选取当前节点的父节点。
@ 选取属性。

示例

表达式说明
bookstore 选取 bookstore 元素的所有子节点。
/bookstore 选取根元素 bookstore。注释：假如路径起始于正斜杠( / )，则此路径始终代表到某元素的绝对路径！
bookstore/book 选取属于 bookstore 的子元素的所有 book 元素。
//book 选取所有 book 子元素，而不管它们在文档中的位置。
bookstore//book 选择属于 bookstore 元素的后代的所有 book 元素，而不管它们位于 bookstore之下的什么位置。
//@lang 选取名为 lang 的所有属性。

2.2、谓语

谓语用来查找某个特定的节点或者包含某个指定的值的节点，被嵌在方括号中。

路径表达式说明
/bookstore/book[1] 选取属于 bookstore 子元素的第一个 book 元素。
/bookstore/book[last()] 选取属于 bookstore 子元素的最后一个 book 元素。
/bookstore/book[last()-1] 选取属于 bookstore 子元素的倒数第二个 book 元素。
/bookstore/book[position()<3] 选取最前面的两个属于 bookstore 元素的子元素的 book 元素。
//title[@lang] 选取所有拥有名为 lang 的属性的 title 元素。
//title[@lang=’eng’] 选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性。
/bookstore/book[price>35.00] 选取 bookstore 元素的所有 book 元素，且其中的 price 元素的值须大于 35.00。
/bookstore/book[price>35.00]/title 选取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值须大于 35.00。

2.3、选取未知节点

XPath 通配符可用来选取未知的 XML 元素。

说明

通配符说明
* 匹配任何元素节点。
@* 匹配任何属性节点。
node() 匹配任何类型的节点。

示例

路径表达式说明
/bookstore/* 选取 bookstore 元素的所有子元素。
//* 选取文档中的所有元素。
html/node()/meta/@* 选择html下面任意节点下的meta节点的所有属性
//title[@*] 选取所有带有属性的 title 元素。

2.4、选取若干路径

通过在路径表达式中使用“|”运算符，可以选取若干个路径。

示例

在这里插入图片描述

2.5、Chrome插件 XPath Helper安装使用

Chrome插件Xpath_helper.zip_python爬取网页内容-Python文档类资源-CSDN下载

2.6、Xpath实战

新建一个hello.html文件

<!-- hello.html -->

<div>
    <ul>
         <li class="item-0"><a href="link1.html">first item</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-inactive"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
 </div>

获取所有的 <li> 标签

from lxml import etree

html = etree.parse('hello.html')
print(type(html))  # 显示etree.parse() 返回类型

result = html.xpath('//li')

print(result)  # 打印<li>标签的元素集合
print(len(result))
print(type(result))
print(type(result[0]))

# 输出结果
<type 'lxml.etree._ElementTree'>
[<Element li at 0x1014e0e18>, <Element li at 0x1014e0ef0>, <Element li at 0x1014e0f38>, <Element li at 0x1014e0f80>, <Element li at 0x1014e0fc8>]
5
<type 'list'>
<type 'lxml.etree._Element'>

继续获取<li> 标签的所有 class属性

from lxml import etree

html = etree.parse('hello.html')
result = html.xpath('//li/@class')

print(result)

# 输出结果
['item-0', 'item-1', 'item-inactive', 'item-1', 'item-0']

继续获取<li>标签下hre 为 link1.html 的 <a> 标签

from lxml import etree

html = etree.parse('hello.html')
result = html.xpath('//li/a[@href="link1.html"]')

print(result)

# 输出结果
[<Element a at 0x10ffaae18>]

获取<li> 标签下的所有 <span> 标签

from lxml import etree

html = etree.parse('hello.html')

#result = html.xpath('//li/span')
#注意这么写是不对的：
#因为 / 是用来获取子元素的，而 <span> 并不是 <li> 的子元素，所以，要用双斜杠

result = html.xpath('//li//span')

print(result)

# 输出结果
[<Element span at 0x10d698e18>]

获取 <li> 标签下的<a>标签里的所有 class

from lxml import etree

html = etree.parse('hello.html')
result = html.xpath('//li/a//@class')

print(result)

# 输出结果
['blod']

获取最后一个 <li> 的 <a> 的 href

from lxml import etree

html = etree.parse('hello.html')

result = html.xpath('//li[last()]/a/@href')
# 谓语 [last()] 可以找到最后一个元素

print(result)

# 输出结果
['link5.html']

获取倒数第二个元素的内容

from lxml import etree

html = etree.parse('hello.html')
result = html.xpath('//li[last()-1]/a')

# text 方法可以获取元素内容
print(result[0].text)

# 输出结果
fourth item

获取 class 值为 bold 的标签名

from lxml import etree

html = etree.parse('hello.html')

result = html.xpath('//*[@class="bold"]')

# tag方法可以获取标签名
print(result[0].tag)

# 输出结果
span

学习遇到的问题

暂无

学习的收获

了解到了使用python进行简单的网页内容爬取。

实操

暂无