【数据采集】Xpath实例学习

已于 2022-04-04 16:39:02 修改
阅读量1.8k 收藏 9
点赞数 11
分类专栏： Python学习 文章标签： python
于 2022-04-04 16:05:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_53306029/article/details/123953485
版权

Xpath

XPath，全称 XML Path Language，即 XML 路径语言，它是一门在XML文档中查找信息的语言。XPath 最初设计是用来搜寻XML文档的，但是它同样适用于 HTML 文档的搜索。

1.XPath概览

  • XPath 的选择功能十分强大，它提供了非常简洁明了的路径选择表达式，另外它还提供了超过 100 个内建函数用于字符串、数值、时间的匹配以及节点、序列的处理等等，几乎所有我们想要定位的节点都可以用XPath来选择。
    XPath 于 1999 年 11 月 16 日 成为 W3C 标准，它被设计为供 XSLT、XPointer 以及其他 XML 解析软件使用，更多的文档可以访问其官方网站：https://www.w3.org/TR/xpath/。

2.XPath常用规则

  • nodename选取此节点的所有子节点
  • /从当前节点选取直接子节点
  • //从当前节点选取子孙节点
  • .选取当前节点
  • …选取当前节点的父节点
  • @选取属性

在这里列出了XPath的常用匹配规则，例如 / 代表选取直接子节点，// 代表选择所有子孙节点，. 代表选取当前节点，…代表选取当前节点的父节点，@ 则是加了属性的限定，选取匹配属性的特定节点。

例如：

handlebars //title[@lang=’eng’]

这就是一个 XPath 规则，它就代表选择所有名称为 title，同时属性 lang 的值为 eng 的节点。

所以在做爬虫时，我们完全可以使用 XPath 来做相应的信息抽取，本节我们来以获取电影网站影片信息为例来了解 XPath 的基本用法。

准备工作

在使用之前我们首先要确保安装好了 LXML 库，可以导入 LXML 库的 etree 模块

from lxml import etree
实例引入

我们以下面这个网页为例

https://dytt8.net/html/gndy/dyzz/index.html

在这里插入图片描述
在这里插入图片描述

可以看到在当前最新电影专栏，共有245页，我们的目标是提取首页中电影《甘草披萨》相关信息。
在这里插入图片描述
首先，将首页url引入，并写入浏览器请求头：

base_url  = "https://dytt8.net/html/gndy/dyzz/list_23_{0}.html"
#list_23_{0}表示从列表第一页开始
headers = {
        "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.82 Safari/537.36"
    }

定义一个方法，用于把响应的内容按照gbk形式解码。

def download_html(url):
    response = requests.get(url,headers=headers)
    # 把响应的内容按照gbk形式解码
    html_str = response.content.decode("gbk")
    return html_str

我们通过Xpath表达式先来获取最新电影所有页面的URL

页面右击鼠标点检查，通过分析，用Xpath表达式返回内容是 [‘244’] 列表结果，列表中装载了字符串页码

在这里插入图片描述


 first_url = base_url.format("1")
    first_html_content = download_html(first_url)
    first_content = etree.HTML(first_html_content) # 通过这个方法能够将html文档转换为能够执行xpath表达式的对象
    # 获取最大页码
    page_number_str = first_content.xpath("//select[@name='sldd']/option[last()]/text()")
    # 返回的内容是 ['244'] 列表结果，列表中装载了字符串页码
    # 拼接URL，获取到所有页面的URL
    urls = []
    for page_number in range(1,int(page_number_str[0])+1):
        url = base_url.format(page_number)
        urls.append(url)

获取到所有页面的URL之后，就可以解析每页的电影的超链接，我们只取第一页。

接下来，需要定义一个方法通过电影列表页面URL获取页面中电影超链接列表，在html中通过Xpath表达式定位到了当前页所有电影超链接

def get_movie_href_page_url(url):
    html_str = download_html(url)
    html_content = etree.HTML(html_str)
    movie_second_hrefs = html_content.xpath("//table[@class='tbspan']//a/@href")
    #在html中通过Xpath表达式定位到了当前页所有电影超链接
    return movie_second_hrefs

在这里插入图片描述
拼接域名，获取完整url：

 for url in urls[0:1]:#切片(只获取一页)
        # 根据URL获取当前页面的电影href列表
        movie_second_hrefs = get_movie_href_page_url(url)
        # URL需要拼接上网站的域名
        movie_second_hrefs = ["https://dytt8.net"+i for i in movie_second_hrefs]
        #print(movie_second_hrefs)#输出当前页电影超链接
        for movie_href in movie_second_hrefs[0:1]:#切片只取当前页第一个电影超链接
            # 这个方法用来解析电影详情页面
            get_movie_detail(movie_href)

最后就需要定义一个方法来解析《甘草披萨》这个电影详情页的信息

def get_movie_detail(href):
    html_str = download_html(href)
    html_content = etree.HTML(html_str)
    movie = {} # 每一个电影信息用字典保存(将来这个结构的数据存储到数据库) csv中
    title = html_content.xpath("//div[@class='title_all']//font/text()")#获取电影标题
    movie['title:'] = title[0] if title and len(title) >= 1 else ""
    image_src = html_content.xpath("//div[@id='Zoom']//img/@src")#获取电影宣传图片
    movie['image_src:'] = image_src[0] if image_src and len(image_src) >= 1 else ""
    movie_text = html_content.xpath("//div[@id='Zoom']//text()")#获取影片详情
    # print(movie_text)

#下面对详情内容通过条件控制进行需求性输出
    for info in movie_text:
    #注意，此控制条件只对不换行字符串内容进行全部提取
        if info.startswith("◎译　　名"):
            s = info.replace("◎译　　名","").strip()
            movie['transfer_name:'] = s
            
        elif info.startswith("◎片　　名"):
            s = info.replace("◎片　　名","").strip()
            movie['title_name:'] = s

        elif info.startswith("◎年　　代"):
            s = info.replace("◎年　　代","").strip()
            movie['age:'] = s

        elif info.startswith("◎产　　地"):
            s = info.replace("◎产　　地","").strip()
            movie['producing_area:'] = s

        elif info.startswith("◎类　　别"):
            s = info.replace("◎类　　别","").strip()
            movie['sort:'] = s

        elif info.startswith("◎语　　言"):
            s = info.replace("◎语　　言","").strip()
            movie['language:'] = s

        elif info.startswith("◎上映日期"):
            s = info.replace("◎上映日期","").strip()
            movie['release_date:'] = s

        elif info.startswith("◎豆瓣评分"):
            s = info.replace("◎豆瓣评分","").strip()
            movie['rating:'] = s

        elif info.startswith("◎片　　长"):
            s = info.replace("◎片　　长","").strip()
            movie['film_length:'] = s

        elif info.startswith("◎导　　演"):
            s = info.replace("◎导　　演","").strip()
            movie['director:'] = s

        elif info.startswith("◎编　　剧"):
            s = info.replace("◎编　　剧","").strip()
            movie['scriptwriter:'] = s
            
        elif info.startswith("◎主　　演"):
            s = info.replace("◎主　　演","").strip()
            movie['actor:'] = s

        elif info.startswith("　　这部影片"):
            s = info.replace("　　","").strip()
            movie['introductory:'] = s

    
    for key,value in movie.items():
        print(key,value)
源码分享
from cmath import inf
from ctypes import memmove
from lxml import etree
import requests

base_url  = "https://dytt8.net/html/gndy/dyzz/list_23_{0}.html"
headers = {
        "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.82 Safari/537.36"
    }

#方法

def download_html(url):
    response = requests.get(url,headers=headers)
    # 把响应的内容按照gbk形式解码
    html_str = response.content.decode("gbk")
    return html_str

# 通过每页电影列表页面URL获取页面中电影超链接列表
def get_movie_href_page_url(url):
    html_str = download_html(url)
    html_content = etree.HTML(html_str)
    movie_second_hrefs = html_content.xpath("//table[@class='tbspan']//a/@href")
    return movie_second_hrefs


# 通过每个电影的页面的URL来提取详细信息
def get_movie_detail(href):
    html_str = download_html(href)
    html_content = etree.HTML(html_str)
    movie = {} # 每一个电影信息用字典保存(将来这个结构的数据存储到数据库) csv中
    title = html_content.xpath("//div[@class='title_all']//font/text()")
    movie['title:'] = title[0] if title and len(title) >= 1 else ""
    image_src = html_content.xpath("//div[@id='Zoom']//img/@src")
    movie['image_src:'] = image_src[0] if image_src and len(image_src) >= 1 else ""
    movie_text = html_content.xpath("//div[@id='Zoom']//text()")
    # print(movie_text)
    for info in movie_text:
        if info.startswith("◎译　　名"):
            s = info.replace("◎译　　名","").strip()
            movie['transfer_name:'] = s
            
        elif info.startswith("◎片　　名"):
            s = info.replace("◎片　　名","").strip()
            movie['title_name:'] = s

        elif info.startswith("◎年　　代"):
            s = info.replace("◎年　　代","").strip()
            movie['age:'] = s

        elif info.startswith("◎产　　地"):
            s = info.replace("◎产　　地","").strip()
            movie['producing_area:'] = s

        elif info.startswith("◎类　　别"):
            s = info.replace("◎类　　别","").strip()
            movie['sort:'] = s

        elif info.startswith("◎语　　言"):
            s = info.replace("◎语　　言","").strip()
            movie['language:'] = s

        elif info.startswith("◎上映日期"):
            s = info.replace("◎上映日期","").strip()
            movie['release_date:'] = s

        elif info.startswith("◎豆瓣评分"):
            s = info.replace("◎豆瓣评分","").strip()
            movie['rating:'] = s

        elif info.startswith("◎片　　长"):
            s = info.replace("◎片　　长","").strip()
            movie['film_length:'] = s

        elif info.startswith("◎导　　演"):
            s = info.replace("◎导　　演","").strip()
            movie['director:'] = s

        elif info.startswith("◎编　　剧"):
            s = info.replace("◎编　　剧","").strip()
            movie['scriptwriter:'] = s
            
        elif info.startswith("◎主　　演"):
            s = info.replace("◎主　　演","").strip()
            movie['actor:'] = s

        elif info.startswith("　　这部影片"):
            s = info.replace("　　","").strip()
            movie['introductory:'] = s

    
    for key,value in movie.items():
        print(key,value)
    #print(movie)

#  看程序要从main方法去看
def main():
    first_url = base_url.format("1")
    first_html_content = download_html(first_url)
    first_content = etree.HTML(first_html_content) # 通过这个方法能够将html文档转换为能够执行xpath表达式的对象
    # 获取最大页码
    page_number_str = first_content.xpath("//select[@name='sldd']/option[last()]/text()")
    # 返回的内容是 ['244'] 列表结果，列表中装载了字符串页码
    # 拼接URL，获取到所有页面的URL
    urls = []
    for page_number in range(1,int(page_number_str[0])+1):
        url = base_url.format(page_number)
        urls.append(url)
    
    # 获取到所有页面的URL之后，解析每页的电影的超链接
    for url in urls[0:1]:#切片(只获取一页)
        # 根据URL获取当前页面的电影href列表
        movie_second_hrefs = get_movie_href_page_url(url)
        # URL需要拼接上网站的域名
        movie_second_hrefs = ["https://dytt8.net"+i for i in movie_second_hrefs]
        #print(movie_second_hrefs)#输出当前页电影超链接
        for movie_href in movie_second_hrefs[0:1]:
            # 这个方法用来解析电影详情页面
            get_movie_detail(movie_href)



if __name__ == "__main__":
    main()

效果展示
在这里插入图片描述

…狂奔的蜗牛～
关注
  • 11
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 9
    评论
专栏目录
python爬虫数据解析xpath解析详细讲解——附有详细案例
getture的博客
11-05 4万+
1.什么是xpath 菜鸟教程这么解释的 XPath 使用路径表达式在 XML 文档中进行导航 XPath 包含一个标准函数库 XPath 是 XSLT 中的主要元素 XPath 是一个 W3C 标准 百度百科这么解释的 是一种用来确定XML文档中某部分位置的语言 是最常用的最广泛的数据解析方式 2.xpath解析原理 ①实例化一个etree的对象，且需要将被解析的页面源码数据加载到该对象中 ②调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕获 3.环境的安装 pi
每天30分钟 一起来学习爬虫——day10（解析数据 之 xpath，实例：好段子爬取）
12-21
常用的路径表达式：实例：安装xpath插件到浏览器。看代码中的使用：爬取好段子 xpath 解析网页 什么是xpath ？ xml: 可扩展标记语言，用来传输和存储数据。他的标签没有预定义，要自己定义标签。 与html的区别： ...
xpath基本案例（Python）
qq_53272273的博客
09-24 5291
**#相关介绍：xpath是在XML文档中搜索内容的一门语言；html是xml的一个子集。 一、首先安装lxml模块，这里以pycharm开发环境为例，在Terminal命令行输入pip install lxml 出现如下页面即是安装成功。 1.再介入案例之前，首先看一个小例子： （1）先从lxml模块导入etree包； （2）xml可以看作是网页源代码（相关知识html标签语言） （3）第20行拿到页面源代码（调用XML方法）； （4）调用xpath方法。 输出结果如下： 二、关于xpath基本
Python爬虫实例（4）--xpath选择器
qq_34786604的博客
09-02 2009
xpath选择器 爬取页面链接 xpath得到href内容 xpath得到标签内容 xpath多属性匹配 xpath语法
详细分析Python爬虫中的xpath（附Demo）
码农研究僧的博客
04-07 1598
XPath（XML Path Language）是一种用于在XML文档中定位和选择节点的语言 在XML文档中通过路径表达式（path expression）来定位节点，这些路径描述了节点在层次结构中的位置
XPath入门（含动图解析）
XerCis的博客
07-23 1693
XPath是一种XML文档查询语言，广泛用于解析HTML。涉及内容有：语法、运算符、函数。
Xpath方法精准采集网页内容-完整版
moshi_6的博客
10-26 2670
如何快速精准采集 推荐使用Xpath提取方法，可以快速精准定位98%的采集区域，简便且快速！
python 中xpath爬虫实例详解
09-18
主要介绍了python实例：xpath爬虫实例,本文通过实例代码给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友可以参考下
数据采集与预处理之xpath爬取豆瓣电影新片榜信息(爬取代码+可视化大屏+数据爬取csv文件)
04-11
1、数据采集与预处理是数据分析的关键步骤，其中爬取特定网站的信息是常见的需求。2、XPath是一种在XML文档中查找信息的语言，可用来在XML...（可结合博客文章《数据采集与预处理之xpath爬取豆瓣电影新片榜信息》使用）
xpath应用学习小实验
最新发布
04-17
多种xpath使用小技巧小实验 详细注解帮助理解
Python xpath表达式如何实现数据处理
09-16
XPath 是一种在 XML 文档中查找信息的语言，它在Python中被广泛用于数据提取和处理。在Python中，你可以使用如`lxml`或`BeautifulSoup`等库来执行XPath表达式，从而方便地定位和操作XML数据。 1. XPath基本语法 - ...
XPath的22个示例
10-21
其它网站转的,方便大家学习　　　　　　　　　　
DAQ数据采集及书上实例
05-05
本书作为LabVIEW的应用进阶书，重点讲述LabVIEW DAQ数据采集的编程与应用。本书可作为高等院校仪器类、机械类等相关专业学生的教材和教学参考书，也可供大专、夜大和职大的相关专业学生选用，也是研究生、高等院校教师和从事相关工作（仪器、机械、自动化、测试/测量、软件等）的工程技术人员和科研人员的参考书。
XPath实例使用教程
04-11
XPath即为XML路径语言，它是一种用来确定XML（标准通用标记语言的子集）文档中某部分位置的语言...XPath基于XML的树状结构，有不同类型的节点，包括元素节点，属性节点和文本节点，提供在数据结构树中找寻节点的能力。
XPath实例
02-04
我刚开始学习xml，做了一个XPath实例
Xpath指南XPATH实例
01-12
网上找的很好的XPATH指南，里面包含了22个实用例子，看完后，XPATH就懂了。
XPath的几个常用语法与实例（Python）
Haber。
02-04 483
一、xpath的语法 表达式 描述 / 从根节点选取 // 从匹配选择的当前节点下选择文档中的节点，不用考虑它们的位置 @ 选取属性 二、实例 从豆瓣电影排行榜网页源代码中（https://movie.douban.com/chart）截取了以下代码用于演示。 <div class="indent"> <div class=""> &l...
XPath实例教程十一、descendant (后代)轴
weixin_34228617的博客
07-01 423
descendant (后代)轴包含上下文节点的后代,一个后代是指子节点或者子节点的子节点等等, 因此descendant轴不会包含属性和命名空间节点. /descendant::* 选择文档根元素的所有后代.即所有的元素被选择 ...
Xpath与案例
学习之路
03-20 461
什么是XMLXML 指可扩展标记语言（EXtensible Markup Language）XML 是一种标记语言，很类似 HTMLXML 的设计宗旨是传输数据，而非显示数据XML 的标签需要我们自行定义。XML 被设计为具有自我描述性。XML 是 W3C 的推荐标准W3School官方文档：http://www.w3school.com.cn/xml/index.aspXML 和 HTML 的区...
python xpath爬虫实例
09-03
以下是一个使用Python的XPath爬虫的实例： ```python import requests from lxml import etree if __name__ == '__main__': url = 'https://pic.netbian.com/4kmeinv/' headers = { 'User-Agent': 'Mozilla/5.0...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

…狂奔的蜗牛～

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值