XPath与lxml类库（XPath下载百度贴吧图片）

最新推荐文章于 2024-07-15 17:10:09 发布
最新推荐文章于 2024-07-15 17:10:09 发布
阅读量172 收藏 2
点赞数
分类专栏： python 文章标签： flask python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012441595/article/details/121526327
版权

python编程快速上手（持续更新中…）

python爬虫从入门到精通

文章目录


有同学说，我正则用的不好，处理HTML文档很累，有没有其他的方法？

有！那就是XPath，我们可以先将 HTML文件 转换成 XML文档，然后用 XPath语法 查找 HTML 节点或元素。

什么是XML

XML 指可扩展标记语言（EXtensible Markup Language）
XML 是一种标记语言，很类似 HTML
XML 的设计宗旨是传输数据，而非显示数据
XML 的标签需要我们自行定义。
XML 被设计为具有自我描述性。
XML 是 W3C 的推荐标准

XML 和 HTML 的区别

在这里插入图片描述

HTML DOM 模型示例

HTML DOM 定义了访问和操作 HTML 文档的标准方法，以树结构方式表达 HTML 文档。
在这里插入图片描述

XML的节点关系

  1. 父（Parent）
    每个元素以及属性都有一个父。

下面是一个简单的XML例子中，book 元素是 title、author、year 以及 price 元素的父：

<?xml version="1.0" encoding="utf-8"?>

<book>
  <title>Harry Potter</title>
  <author>J K. Rowling</author>
  <year>2005</year>
  <price>29.99</price>
</book>
  1. 子（Children）
    元素节点可有零个、一个或多个子。

在下面的例子中，title、author、year 以及 price 元素都是 book 元素的子：

<?xml version="1.0" encoding="utf-8"?>

<book>
  <title>Harry Potter</title>
  <author>J K. Rowling</author>
  <year>2005</year>
  <price>29.99</price>
</book>
  1. 同胞（Sibling）
    拥有相同的父的节点

在下面的例子中，title、author、year 以及 price 元素都是同胞：

<?xml version="1.0" encoding="utf-8"?>

<book>
  <title>Harry Potter</title>
  <author>J K. Rowling</author>
  <year>2005</year>
  <price>29.99</price>
</book>
  1. 先辈（Ancestor）
    某节点的父、父的父，等等。

在下面的例子中，title 元素的先辈是 book 元素和 bookstore 元素：

<?xml version="1.0" encoding="utf-8"?>

<bookstore>

<book>
  <title>Harry Potter</title>
  <author>J K. Rowling</author>
  <year>2005</year>
  <price>29.99</price>
</book>

</bookstore>
  1. 后代（Descendant）
    某个节点的子，子的子，等等。

在下面的例子中，bookstore 的后代是 book、title、author、year 以及 price 元素：

<?xml version="1.0" encoding="utf-8"?>

<bookstore>

<book>
  <title>Harry Potter</title>
  <author>J K. Rowling</author>
  <year>2005</year>
  <price>29.99</price>
</book>

</bookstore>

什么是XPath？

XPath (XML Path Language) 是一门在 XML 文档中查找信息的语言，可用来在 XML 文档中对元素和属性进行遍历。

XPath 开发工具

开源的XPath表达式编辑工具:XMLQuire(XML格式文件可用)
Chrome插件 XPath Helper
Firefox插件 XPath Checker

选取节点

XPath 使用路径表达式来选取 XML 文档中的节点或者节点集。这些路径表达式和我们在常规的电脑文件系统中看到的表达式非常相似。

下面列出了最常用的路径表达式：
在这里插入图片描述
在下面的表格中，我们已列出了一些路径表达式以及表达式的结果：
在这里插入图片描述

谓语（Predicates）

谓语用来查找某个特定的节点或者包含某个指定的值的节点，被嵌在方括号中。

在下面的表格中，我们列出了带有谓语的一些路径表达式，以及表达式的结果：
在这里插入图片描述

选取未知节点

XPath 通配符可用来选取未知的 XML 元素。
在这里插入图片描述
在下面的表格中，我们列出了一些路径表达式，以及这些表达式的结果：
在这里插入图片描述

选取若干路径

通过在路径表达式中使用“|”运算符，您可以选取若干个路径。

实例

在下面的表格中，我们列出了一些路径表达式，以及这些表达式的结果：
在这里插入图片描述

XPath的运算符

下面列出了可用在 XPath 表达式中的运算符：
在这里插入图片描述在这里插入图片描述

lxml库

lxml 是 一个HTML/XML的解析器，主要的功能是如何解析和提取 HTML/XML 数据。

lxml和正则一样，也是用 C 实现的，是一款高性能的 Python HTML/XML 解析器，我们可以利用之前学习的XPath语法，来快速的定位特定元素以及节点信息。

lxml python 官方文档：http://lxml.de/index.html

需要安装C语言库，可使用 pip 安装：pip install lxml （或通过wheel方式安装）

初步使用

我们利用它来解析 HTML 代码，简单示例：

# lxml_test.py

# 使用 lxml 的 etree 库
from lxml import etree 

text = '''
<div>
    <ul>
         <li class="item-0"><a href="link1.html">first item</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-inactive"><a href="link3.html">third item</a></li>
         <li class="item-1"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a> # 注意，此处缺少一个 </li> 闭合标签
     </ul>
 </div>
'''

#利用etree.HTML，将字符串解析为HTML文档
html = etree.HTML(text) 

# 按字符串序列化HTML文档
result = etree.tostring(html) 

print(result)

输出结果：

<html><body>
<div>
    <ul>
         <li class="item-0"><a href="link1.html">first item</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-inactive"><a href="link3.html">third item</a></li>
         <li class="item-1"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
 </div>
</body></html>

lxml 可以自动修正 html 代码，例子里不仅补全了 li 标签，还添加了 body，html 标签。

文件读取：

除了直接读取字符串，lxml还支持从文件里读取内容。我们新建一个hello.html文件：

<!-- hello.html -->

<div>
    <ul>
         <li class="item-0"><a href="link1.html">first item</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-inactive"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
 </div>

再利用 etree.parse() 方法来读取文件。

# lxml_parse.py

from lxml import etree

# 读取外部文件 hello.html
html = etree.parse('./hello.html')
result = etree.tostring(html, pretty_print=True)

print(result)

输出结果与之前相同：

<html><body>
<div>
    <ul>
         <li class="item-0"><a href="link1.html">first item</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-inactive"><a href="link3.html">third item</a></li>
         <li class="item-1"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
 </div>
</body></html>

XPath实例测试

  1. 获取所有的
  2. 标签
# xpath_li.py

from lxml import etree

html = etree.parse('hello.html')
print type(html)  # 显示etree.parse() 返回类型

result = html.xpath('//li')

print result  # 打印<li>标签的元素集合
print len(result)
print type(result)
print type(result[0])

输出结果：

<type 'lxml.etree._ElementTree'>
[<Element li at 0x1014e0e18>, <Element li at 0x1014e0ef0>, <Element li at 0x1014e0f38>, <Element li at 0x1014e0f80>, <Element li at 0x1014e0fc8>]
5
<type 'list'>
<type 'lxml.etree._Element'>
  1. 继续获取
  2. 标签的所有 class属性
# xpath_li.py

from lxml import etree

html = etree.parse('hello.html')
result = html.xpath('//li/@class')

print result

运行结果

['item-0', 'item-1', 'item-inactive', 'item-1', 'item-0']
  1. 继续获取
  2. 标签下hre 为 link1.html 的 标签
# xpath_li.py

from lxml import etree

html = etree.parse('hello.html')
result = html.xpath('//li/a[@href="link1.html"]')

print result

运行结果

[<Element a at 0x10ffaae18>]
  1. 获取
  2. 标签下的所有 标签
# xpath_li.py

from lxml import etree

html = etree.parse('hello.html')

#result = html.xpath('//li/span')
#注意这么写是不对的：
#因为 / 是用来获取子元素的，而 <span> 并不是 <li> 的子元素，所以，要用双斜杠

result = html.xpath('//li//span')

print result

运行结果

[<Element span at 0x10d698e18>]
  1. 获取
  2. 标签下的标签里的所有 class
# xpath_li.py

from lxml import etree

html = etree.parse('hello.html')
result = html.xpath('//li/a//@class')

print result

运行结果

['blod']
  1. 获取最后一个
  2. 的 的 href
# xpath_li.py

from lxml import etree

html = etree.parse('hello.html')

result = html.xpath('//li[last()]/a/@href')
# 谓语 [last()] 可以找到最后一个元素

print result

运行结果

['link5.html']
  1. 获取倒数第二个元素的内容
# xpath_li.py

from lxml import etree

html = etree.parse('hello.html')
result = html.xpath('//li[last()-1]/a')

# text 方法可以获取元素内容
print result[0].text

运行结果

fourth item
  1. 获取 class 值为 bold 的标签名
# xpath_li.py

from lxml import etree

html = etree.parse('hello.html')

result = html.xpath('//*[@class="bold"]')

# tag方法可以获取标签名
print result[0].tag

运行结果

span

案例：使用XPath的爬 取百度贴吧图片

现在我们用XPath来做一个简单的爬虫，我们尝试爬取某个贴吧里的所有帖子，并且将该这个帖子里每个楼层发布的图片下载到本地。

import os
import urllib.parse
import urllib.request
from lxml import etree

class Spider:
    def __init__(self):
        self.tiebaName = input("请需要访问的贴吧：")
        self.beginPage = int(input("请输入起始页："))
        self.endPage = int(input("请输入终止页："))

        self.url = 'http://tieba.baidu.com/f'
        self.ua_header = {"User-Agent" : "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1 Trident/5.0;"}

        # 图片编号
        self.userName = 1

    def tiebaSpider(self):
        for page in range(self.beginPage, self.endPage + 1):
            pn = (page - 1) * 50 # page number
            word = {'pn' : pn, 'kw': self.tiebaName}

            word = urllib.parse.urlencode(word) #转换成url编码格式（字符串）
            myUrl = self.url + "?" + word

            # 示例：http://tieba.baidu.com/f? kw=%E7%BE%8E%E5%A5%B3 & pn=50
            # 调用 页面处理函数 load_Page
            # 并且获取页面所有帖子链接,
            links = self.loadPage(myUrl)  # urllib2_test3.py

    # 读取页面内容
    def loadPage(self, url):
        req = urllib.request.Request(url, headers = self.ua_header)
        html = urllib.request.urlopen(req).read()

        # 解析html 为 HTML 文档
        selector=etree.HTML(html)

        #抓取当前页面的所有帖子的url的后半部分，也就是帖子编号
        # http://tieba.baidu.com/p/4884069807里的 “p/4884069807”
        links = selector.xpath('//div[@class="threadlist_lz clearfix"]/div/a/@href')

        # links 类型为 etreeElementString 列表
        # 遍历列表，并且合并成一个帖子地址，调用 图片处理函数 loadImage
        for link in links:
            link = "http://tieba.baidu.com" + link
            self.loadImages(link)

    # 获取图片
    def loadImages(self, link):
        req = urllib.request.Request(link, headers = self.ua_header)
        html = urllib.request.urlopen(req).read()

        selector = etree.HTML(html)

        # 获取这个帖子里所有图片的src路径
        imagesLinks = selector.xpath('//img[@class="BDE_Image"]/@src')

        # 依次取出图片路径，下载保存
        for imagesLink in imagesLinks:
            self.writeImages(imagesLink)

    # 保存页面内容
    def writeImages(self, imagesLink):
        '''
            将 images 里的二进制内容存入到 userNname 文件中
        '''

        print (imagesLink)
        print ("正在存储文件 %d ..." % self.userName)
        # 1. 打开文件，返回一个文件对象
        file = open('./images/' + str(self.userName)  + '.png', 'wb')

        # 2. 获取图片里的内容
        images = urllib.request.urlopen(imagesLink).read()

        # 3. 调用文件对象write() 方法，将page_html的内容写入到文件里
        file.write(images)

        # 4. 最后关闭文件
        file.close()

        # 计数器自增1
        self.userName += 1

# 模拟 main 函数
if __name__ == "__main__":

    # 首先创建爬虫对象
    mySpider = Spider()
    # 调用爬虫对象的方法，开始工作
    mySpider.tiebaSpider()
IT瘾君
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
xpath的使用：（1）xpath插件的安装
周周の博客小屋
04-21 1万+
xpath的使用：（1）xpath插件的安装
五、Xpath与lxml类库
08-06 98
什么是XML XML 指可扩展标记语言（EXtensible Markup Language） XML 是一种标记语言，很类似 HTML XML 的设计宗旨是传输数据，而非显示数据 XML 的标签需要我们自行定义。 XML 被设计为具有自我描述性。 XML 是 W3C 的推荐标准 W3School官方文档：http://www.w3school.com.cn/xml...
Xpath helper安装及使用教程
momingqimiaoxyj的博客
02-24 1235
参考：https://blog.csdn.net/heartbeat196/article/details/113790232 ⭐安装 1.百度网盘xpath helper下载完成后，将文件的后缀名改为“.zip”，并进行解压。 2。解压之后有两个文件，将文件名为“2.0.2_0.crx”后缀名改为“.zip”，并对其进行二次解压。获得如下图所示的文件夹。 3.将该文件夹拖入谷歌开发者工具，如下图表示创建成功。 ⭐作用 1.获取页面元素的xpath地址。 2.验证用户自己写的xpath地址是否正确。 ⭐使用
xpath helper 谷歌浏览器插件 网盘地址 下载 使用
热门推荐
大蛇王的博客
12-01 2万+
https://pan.baidu.com/s/1c2vYUOw 提取码 mtut 下载好，打开chrome://extensions/ 然后把插件拖进去，重启下浏览器就可以用了，快捷打开插件方式shift+ctrl+X
xpath下载链接
qq_41477300的博客
10-28 448
链接：https://pan.baidu.com/s/1VABuWScCpQSGrwEZe5COOw 提取码：gege
[ Python ] 爬虫类库学习之 xpath
01-20
安装：pip install lxml 实例化一个etree对象 from lxml import etree 1、将本地的html文档中的源码数据加载到etree对象中 etree.parse(filePath) 2、可以将从互联网上获取的源码数据加载到该对象中 page_text = ...
基于Python的豆瓣图书数据的爬取与分析_张娇.pdf
08-23
"基于Python的豆瓣图书数据的爬取与分析" 本资源摘要信息中，我们将对基于Python的豆瓣图书数据的爬取与分析进行详细的知识点总结。 一、 Python爬虫技术 Python爬虫技术是获取互联网上大量公共信息的主要工具。...
基于Python开发的二手车信息爬虫数据可视化分析系统源码+sql数据库(毕设源码).zip
06-15
抓取的网页内容传入lxml模块的etree对象HTML方法通过xpath解析DOM树，不过二手车的关键数据比如二手车价格，汽车表显里程数字采用了字体文件加密，这里我们只能随机生成一个价格用于演示程序的完整运行，如果想破解...
基于Python实现的二手车爬虫数据可视化分析设计源代码+文档说明+sql文件
11-13
抓取的网页内容传入lxml模块的etree对象HTML方法通过xpath解析DOM树，不过二手车的关键数据比如二手车价格，汽车表显里程数字采用了字体文件加密，这里我们只能随机生成一个价格用于演示程序的完整运行，如果想破解...
毕业设计，基于Python+Django+MySql开发的二手车爬虫数据可视化分析，内含Python完整源代码，数据库脚本
01-23
抓取的网页内容传入lxml模块的etree对象HTML方法通过xpath解析DOM树，不过二手车的关键数据比如二手车价格，汽车表显里程数字采用了字体文件加密，这里我们只能随机生成一个价格用于演示程序的完整运行，如果想破解...
Xpath-helper下载及安装（爬虫必备-Chrome插件）
weixin_45299811的博客
04-22 8978
一.下载 百度网盘链接下载：xpath-helper.crx 链接：https://pan.baidu.com/s/11IYyYJBGUiR3BY7cS7sLOA 提取码：iefg 二,安装 （1）打开chrome页面，点击：右上角三个点--更多工具--扩展程序； （2）拖拽xpath-helper.crx到扩展程序页面； （3）若安装失败将xpath-helper.crx修改后缀为rar，并解压xpath-helper.rar； （4）oogle浏览器打开开发者模式，加载已解压的扩展程序-.
chrome插件——xpath
weixin_43846708的博客
11-13 3942
chrome安装xpath插件1.安装包下载（百度网盘）2.安装3.安装成功 1.安装包下载（百度网盘） 链接：https://pan.baidu.com/s/1jyEHWJE4ke_Qs_Xl0wd_3Q 提取码：uy0o 2.安装 1)点击chrome右上角——>更多工具——>扩展程序。把文件拖拽到拓展页面，即可安装。 2)如果安装失败，显示 【无法从该网站添加应用、扩展程序和用户脚本】 则打开开发者模式，再次安装。 3.安装成功 ...
python中xpath爬虫源代码_python 中xpath爬虫实例详解
weixin_29156401的博客
12-29 1093
案例一：某套图网站，套图以封面形式展现在页面，需要依次点击套图，点击广告盘链接，最后到达百度网盘展示页面。这一过程通过爬虫来实现，收集百度网盘地址和提取码，采用xpath爬虫技术1、首先分析图片列表页，该页按照更新先后顺序暂时套图封面，查看HTML结构。每一组“li”对应一组套图。属性href后面即为套图的内页地址(即广告盘链接页)。所以，我们先得获取列表页内所有的内页地址(即广告盘链接页)代码如...
python爬虫系列：xpath爬取图片讲解（零基础向）
m0_58288142的博客
06-23 9138
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 系列文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学...
XPath Helper插件
Pert的博客
10-26 158
1.下载 百度网盘：链接：https://pan.baidu.com/s/1HfqeMk9F0T2kEK0B_t4OFQ 提取码：1234 ** 2.安装 2.1 在导航栏中输入chrome://extensions，拖拽到浏览器，发现安装失败，此时将xpath-helper.crx修改后缀为rar，即：xpath-helper.rar，然后解压到到一个目录。 2.2 google浏览器打开开发者模式，然后点“加载已解压的扩展程序”，选择刚刚解压的文件夹，则安装成功。 3.使用 3.1 重启浏览器，快捷键.
使用chrome console检查css selector/xpath的有效性|百度云盘如何获取文件库中的目录文字
丿灬安之若死
01-27 2069
定位元素时，一般用xpath或css selector来定位，定位时可以借助chrome浏览器或firefox浏览器的firebug来直接copy selector或copy xpath。此文介绍使用chrome怎样去验证css selector或xpath的有效性。 步骤 1. 按F12打开chrome的开发者工具； 2. 再按Esc键调出console 经过这俩步骤，chrome的El...
【工具】xpath helper 谷歌浏览器插件 网盘地址
野人Boom的博客
02-01 1647
https://pan.baidu.com/s/1htdZAvy 提取码 xnn6 下载好，打开谷歌浏览器的拓展程序 然后把插件拖进去，重启下浏览器就可以用了，快捷打开插件方式shift+ctrl+X
Flask启动5000端口后关不掉了？
最新发布
svygh123的专栏
07-15 341
使用python app.py启动flask应用后，又启动了另一个flask测试应用，也能启动成功，也没有报设么端口冲突，关闭黑窗口后，访问还是有守护进程在运行，于是就想着用windows明令去杀掉进程。而且在任务管理器中是不存在这两个进程id的：4992、5728。查看5000对应的进程，是可以看到有的。使用命令：netstat -ano。运行taskkill杀进程命令。
「Python」基于Gunicorn、Flask和Docker的高并发部署
AIGC大前端小王子
07-15 539
参数确保使用最新的Dockerfile重新构建镜像。这个命令会构建Docker镜像并启动服务。，来模拟高并发请求并测试应用的性能。（Apache Bench）或。使用压力测试工具，如。
xpath和lxml的区别
06-03
而 LXML 是一个 Python 库，它提供了一个类似于 XPath 的 API 来解析和操作 XML 和 HTML 文档。 具体来说，XPath 是一种标准的语言，不仅可以被 Python 使用，还可以被其他语言使用。而 LXML 是 Python 的一个库，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值