爬虫解析——Xpath的安装及使用（五）

最新推荐文章于 2024-06-25 22:03:09 发布
最新推荐文章于 2024-06-25 22:03:09 发布
阅读量3.9k 收藏 35
点赞数 60
分类专栏： Spider 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_45447650/article/details/134284663
版权

目录

一、Xpath插件的安装

二、安装 lxml

三、Xpath解析文件

1.解析本地文件

（1）导入本地文件

（2）解析本地文件

2.服务器文件解析

（1）获取网页源码

（2）解析服务器响应文件

四、Xpath-抓取图片

1.设置url

2.请求对象定制

3.获取网页源码

 4.下载图片

5.调用

参考

Xpath可以解析两种文件

  • etree.parse() 解析本地文件：html_tree = etree.parse( 'xx.html')
  • etree.HTML()服务器响应文件：html_tree = etree.HTML(response.read( ).decode( utf-8")

Xpath基本语法

html_tree.xpath(xpath路经)

1.路径查询

        //: 查找所有子孙节点，不考虑层级关系（子和孙所有节点）

        /: 找直接子节点

2.谓词查询

        //div[@id]

        //div[@id="maincontent"]

3.属性查询

        //div/@class

4.模湖查询

        //div[contains(@id，"he")]

        //div[starts-with(@id,"he")]

5.内容查询

        //div/h1/text()

6.逻辑运算

        //div[@id="head” and @class="s_down"]

        //title | //price

一、Xpath插件的安装

进入chrome应用商店

搜索 Xpath helpler 

选择这个安装 

怎么看扩展是否安装成功呢？

随便打开一个页面，然后 按快捷键 Ctrl+Shift+X

出现这个黑色的框框就算安装成功了

二、安装 lxml

在环境中

pip install lxml

三、Xpath解析文件

1.解析本地文件

（1）导入本地文件

from lxml import etree

# Xpath解析有两种解析文件
# 1.本地文件    etree.parse( 'xx.html')
# 2.服务器相应数据  response.read().decode('utf-8') 【主要用这个】    etree.HTML(response.read( ).decode("utf-8")

tree = etree.parse('_070.html')
print(tree)

报错：

 需要将本地文件中的meta加一个结束标签

然后重新运行就可以了

（2）解析本地文件

本地的 HTML 文件 

内容查询
# text() 获取标签中的内容
# 路径查询
# 查找 ul 下面的 li
# li_list = tree.xpath('//body/ul/li')
li_list = tree.xpath('//body/ul/li/text()')
print(li_list)

 不用内容查询

使用内容查询

路径查询
# text() 获取标签中的内容
# 路径查询
# 查找 ul 下面的 li
li_list = tree.xpath('//body/ul/li/text()')
print(li_list)

谓词查询
# 谓词查询
# 查找所有有id属性的 <li> 标签
li_list = tree.xpath('//ul/li[@id]/text()')
print(li_list)


# 谓词查询
# 查找id为 ‘l1’ 的 <li> 标签
li_list = tree.xpath('//ul/li[@id="l1"]/text()')
print(li_list)

属性查询
# 属性查询
# 查询<li>标签的class属性的属性值
li_list = tree.xpath('//ul/li/@class')
print(li_list)

# 查询id 为 ‘l1’ 的<li>标签的class属性的属性值
li_list = tree.xpath('//ul/li[@id="l1"]/@class')
print(li_list)

模糊查询
# 模糊查询
# 查找 <li> 标签的id中包含 ‘l’ 的标签
li_list = tree.xpath('//ul/li[contains(@id,"l")]/text()')
print(li_list)

# 查找 <li> 标签的id中以‘s’开头的标签
li_list = tree.xpath('//ul/li[starts-with(@id,"s")]/text()')
print(li_list)

逻辑查询
# 逻辑运算
# 查询<li>标签中id为‘l1’且class的属性值为‘c1’的标签
li_list = tree.xpath('//ul/li[@id="l1" and @class="c1"]/text()')
print(li_list)

# 查询<li>标签中id为‘s1’或者class为‘c1’的标签
li_list = tree.xpath('//ul/li[@id="s1"]/text() | //ul/li[@class="c1"]/text()')
print(li_list)

2.服务器文件解析

（1）获取网页源码

# 1.获取网页的源码
url = 'https://www.baidu.com/'
headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36 Edg/118.0.2088.76"
}
# 请求对象定制
request = urllib.request.Request(url, headers=headers)
# 模拟客户端向服务器发送请求
response = urllib.request.urlopen(request)
# 获取网页源码
content = response.read().decode('utf-8')
print(content)

（2）解析服务器响应文件

# 解析服务器响应的文件
tree = etree.HTML(content)

我们应该如何获取Xpath呢？

之前安装的Xpath扩展就起作用了

我们 Ctrl + Shift + X打开扩展

右键页面打开检查，定位到“百度一下” 【我们要想要获取“百度一下”这个字段】

然后我们就可以根据检查中html标签的描述，在黑色框的左侧写 查询代码，右侧则显示查询结果，查询正确时，右侧框中则会出现你想要的东西，我们复制这个Xpath路径。

将复制的Xpath路径填入代码，运行就可以看到，我们已经成功获取了“百度一下这个字段”

# 打印
result= tree.xpath('//input[@id="su"]/@value')
print(result)

还有一种获取Xpath的方法

右键网页，点击检查，点击箭头，然后选中页面中“百度一下”这个框，检查中就会点位到这个框的位置，然后右键这个位置，选择copy，选择copy Xpath，就会得到一个定位到百度一下这个框的代码  //*[@id="su"]

然后补充自己想要获取的值（@value）就可以

result = tree.xpath('//*[@id="su"]/@value')
print(result)

本地文件解析完整代码：

from lxml import etree

# Xpath解析有两种解析文件
# 1.本地文件    etree.parse( 'xx.html')
# 2.服务器相应数据  response.read().decode('utf-8') 【主要用这个】    etree.HTML(response.read( ).decode("utf-8")

##############################
########   本地文件解析 ########
#############################
# 导入 本地html文件
tree = etree.parse('_070.html')

# text() 获取标签中的内容
# 路径查询
# 查找 ul 下面的 li
# li_list = tree.xpath('//body/ul/li/text()')

# 谓词查询
# 查找所有有id属性的 <li> 标签
# li_list = tree.xpath('//ul/li[@id]/text()')
# 查找id为 ‘l1’ 的 <li> 标签
# li_list = tree.xpath('//ul/li[@id="l1"]/text()')

# 属性查询
# 查询<li>标签的class属性的属性值
# li_list = tree.xpath('//ul/li/@class')
# 查询id 为 ‘l1’ 的<li>标签的class属性的属性值
# li_list = tree.xpath('//ul/li[@id="l1"]/@class')

# 模糊查询
# 查找 <li> 标签的id中包含 ‘l’ 的标签
# li_list = tree.xpath('//ul/li[contains(@id,"l")]/text()')
# 查找 <li> 标签的id中以‘s’开头的标签
# li_list = tree.xpath('//ul/li[starts-with(@id,"s")]/text()')

# 逻辑运算
# 查询<li>标签中id为‘l1’且class的属性值为‘c1’的标签
# li_list = tree.xpath('//ul/li[@id="l1" and @class="c1"]/text()')
# 查询<li>标签中id为‘s1’或者class为‘c1’的标签
li_list = tree.xpath('//ul/li[@id="s1"]/text() | //ul/li[@class="c1"]/text()')
print(li_list)

服务器文件解析完整代码：

from lxml import etree
import urllib.request

###############################
####### 解析服务器文件 ##########
###############################

# 1.获取网页的源码
url = 'https://www.baidu.com/'
headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36 Edg/118.0.2088.76"
}
# 请求对象定制
request = urllib.request.Request(url, headers=headers)
# 模拟客户端向服务器发送请求
response = urllib.request.urlopen(request)
# 获取网页源码
content = response.read().decode('utf-8')

# 2.解析服务器响应文件
# 解析服务器响应的文件
tree = etree.HTML(content)

# 打印 Xpath 的返回值是一个列表类型的数据
# result= tree.xpath('//input[@id="su"]/@value')
result = tree.xpath('//*[@id="su"]/@value')
print(result)

四、Xpath-抓取图片

抓取站长素材网站的图片

1.设置url

查找每一页 url 的规律

# 找 url 的规律
# url : https://sc.chinaz.com/tupian/cixiutuan.html  page = 1
# url : https://sc.chinaz.com/tupian/cixiutuan_2.html  page = 2
# url : https://sc.chinaz.com/tupian/cixiutuan_3.html  page = 3

2.请求对象定制

def create_request(page):
    if page == 1:
        url = 'https://sc.chinaz.com/tupian/cixiutuan.html'
    else:
        url = 'https://sc.chinaz.com/tupian/cixiutuan_'+str(page)+'.html'

    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36 Edg/118.0.2088.76"
    }
    request = urllib.request.Request(url, headers=headers)
    return  request

3.获取网页源码

def get_content(request):
    response = urllib.request.urlopen(request)
    content = response.read().decode('utf-8')
    return content

 4.下载图片

通过Xpath获取图片的链接和图片名称

右键检查 --> 定位到图片的标签行 --> 在Xpath扩展的左侧框中写入Xpath --> 右侧与想要的数据吻合 --> 复制这个Xpath

但是！！！有时候在网页上获取的Xpath和通过response获取Xpath是不一样的，如果没有返回内容，就把网页下载下来看一下Xpath。

有时候src并不是真实的路径，可能会在‘data-original’中，重点是要检查content中的内容。

有的网站也会存在懒加载，src的属性就会变成src2，这个问题就需要根据从content和页面多加辨别。

def download(content):
    # 下载图片
    # urllib.request.urlretrieve('图片地址', '图片名称')  # 这两项我们都没有,那我们就要先获取
    tree = etree.HTML(content)
    src_list = tree.xpath('//div[@class="tupian-list com-img-txt-list"]/div/img/@data-original')
    name_list = tree.xpath('//div[@class="tupian-list com-img-txt-list"]/div/img/@alt')
    for i in range(len(name_list)):
        name = name_list[i]
        src = src_list[i]
        url = 'https:' + src
        urllib.request.urlretrieve(url=url, filename='_072_download_img/'+name+'.png')

5.调用

start_page = int(input('请输入起始页码'))
end_page = int(input('请输入结束页码'))
for page in range(start_page, end_page+1):
    # 请求对象定制
    response = create_request(page)
    # 获取网页源码
    content = get_content(response)
    # 下载
    download(content)

完整代码：

# 站长素材 https://sc.chinaz.com/
# 站长素材 --> 高清图片 --> 选择一个 --> 下载前十页

import urllib.request
from lxml import etree

# 找 url 的规律
# url : https://sc.chinaz.com/tupian/cixiutuan.html  page = 1
# url : https://sc.chinaz.com/tupian/cixiutuan_2.html  page = 2
# url : https://sc.chinaz.com/tupian/cixiutuan_3.html  page = 3



def create_request(page):
    if page == 1:
        url = 'https://sc.chinaz.com/tupian/cixiutuan.html'
    else:
        url = 'https://sc.chinaz.com/tupian/cixiutuan_'+str(page)+'.html'

    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36 Edg/118.0.2088.76"
    }
    request = urllib.request.Request(url, headers=headers)
    return request

def get_content(request):
    response = urllib.request.urlopen(request)
    content = response.read().decode('utf-8')
    return content

def download(content):
    # 下载图片
    # urllib.request.urlretrieve('图片地址', '图片名称')  # 这两项我们都没有,那我们就要先获取
    tree = etree.HTML(content)
    src_list = tree.xpath('//div[@class="tupian-list com-img-txt-list"]/div/img/@data-original')
    name_list = tree.xpath('//div[@class="tupian-list com-img-txt-list"]/div/img/@alt')
    for i in range(len(name_list)):
        name = name_list[i]
        src = src_list[i]
        url = 'https:' + src
        urllib.request.urlretrieve(url=url, filename='_072_download_img/'+name+'.png')


start_page = int(input('请输入起始页码'))
end_page = int(input('请输入结束页码'))
for page in range(start_page, end_page+1):
    # 请求对象定制
    response = create_request(page)
    # 获取网页源码
    content = get_content(response)
    # 下载
    download(content)

参考

尚硅谷Python爬虫教程小白零基础速通（含python基础+爬虫案例）

Billie使劲学
关注
  • 60
    点赞
  • 踩
  • 35
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
xpath helper插件
01-22
谷歌浏览器xpath-helper及插件安装包
Xpath 谷歌插件 附带安装操作说明
12-03
每一个写爬虫、或者是做网页分析的人，相信都会因为在定位、获取xpath路径上花费大量的时间，甚至有时候当爬虫框架成熟之后，基本上主要的时间都花费在了页面的解析上。在没有这些辅助工具的日子里，我们只能通过搜索html源代码，定位一些id去找到对应的位置，非常的麻烦，而且经常出错。而我们今天要介绍的这款XPath Helper可以很好的帮助大家解决这个难题。
xpath的使用：（1）xpath插件的安装
周周の博客小屋
04-21 1万+
xpath的使用：（1）xpath插件的安装
网络爬虫Xpath开发工具的使用
最新发布
weixin_49816293的博客
06-25 1357
需要说明的是，路径表达式并不唯一，既可以是从根节点开始的绝对路径，也可以是从。在该页面顶部第一部电影名称“美丽人生”的上方单击鼠标右键，，然后打开该扩展程序对应的开启按钮，此时扩展程序页面的右上角位置显示了。中，界面左侧的编辑区域用于输入路径表达式，右侧区域用于展示该路径表达式。在该菜单中单击“更多工具”→“扩展程序”进入扩展程序页面，如图。中可以看出，根据左边的路径表达式，该页面展示了所有的电影名称。工具，在左侧的编辑区域中输入上述路径表达式。）在浏览器中打开豆瓣电影首页，在该页面中单击“排行榜”
【Python从入门到进阶】28、xpath的安装以及使用
程序猿之洞
07-15 6262
XPath是由W3C（World Wide Web Consortium）组织发布的。W3C是一个国际性组织，负责制定Web标准和推动Web技术的发展。XPath最初在1999年发布，并成为XML Path Language的一部分。它由James Clark提出并提交给W3C进行标准化，目的是为XML文档提供一种统一而强大的查询语言。XPath是一种用于在XML文档中定位和提取数据的查询语言。它可以通过路径表达式来描述XML文档中的节点结构，并根据这些路径表达式来选择特定的节点或节点集合。
XPath安装
咸鱼菌
07-09 2974
XPath安装XPath什么是XPath？XPath开发工具 XPath 什么是XPath？ xpath（XML Path Language）是一门在XML和HTML文档中查找信息的语言，可用来在XML和HTML文档中对元素和属性进行遍历。 XPath开发工具 Chrome插件XPath Helper。 安装方法： 下载：XPath Helper 在chrome浏览器选择【3个点】【更多工具】【扩展程序】 选择开发者模式 如果下载的是.crx的格式则将其改成.zip或者.rar。不然大概
XPath的安装与使用
qq_62819897的博客
04-09 6871
XPath即XML路径查询语言（XML Path Language），是一种用于确定XML文档中部分节点位置的语言。它起初只支持搜索XML文档，更新后能支持搜索HTML文档。
爬虫 xpath的安装
Confused_DMW的博客
06-26 4729
xpath 安装 下载谷歌浏览器的xpath插件 安装xpath库
10.爬虫---XPath插件安装并解析爬取数据
hsadfdsahfdsgfds的博客
06-06 2157
XPath是一门在XML文档中查找信息的语言，它使用路径表达式来选取XML文档中的节点或者节点集。XPath基于XML的树状结构，提供在数据结构树中找寻节点的能力，允许开发者精确地定位XML文档中的元素、属性或节点集。
Java爬虫入门——使用Jsoup解析HTML页面.zip
03-08
常用的解析工具有正则表达式、XPath、Beautiful Soup等。这些工具帮助爬虫定位和提取目标数据，如文本、图片、链接等。 数据存储： 爬虫将提取的数据存储到数据库、文件或其他存储介质中，以备后续分析或展示。常用...
每天30分钟 一起来学习爬虫——day10（解析数据 之 xpath，实例：好段子爬取）
12-21
**五、XPath在网页爬虫中的应用** 在网页爬虫中，XPath可以帮助我们精确地定位和提取所需的数据。例如，要从特定网页抓取好段子，可以先分析网页结构，使用F12开发者工具检查元素，然后使用XPath选择器找到包含段子...
谷歌xpath插件
12-07
安装，xpath插件，安装谷歌扩展程序， ctrl shift x 出现，按住shift 进行选择元素
xpath-helper 插件及使用方法
10-24
XPath Helper可以支持在网页点击元素生成xpath，整个抓取使用了xpath、正则表达式、消息中间件、多线程调度框架的chrome插件。
xpath
03-20
NULL 博文链接：https://lzmrex.iteye.com/blog/791545
使用 Go 写爬虫 —— scrape 闯关.zip
01-19
常用的解析工具有正则表达式、XPath、Beautiful Soup等。这些工具帮助爬虫定位和提取目标数据，如文本、图片、链接等。 数据存储： 爬虫将提取的数据存储到数据库、文件或其他存储介质中，以备后续分析或展示。常用...
Scrapy爬虫项目——阿里文学&当当网
12-21
在`parse`函数中，可以使用XPath或CSS选择器来定位和提取数据，如在当当网商品数据的示例中。 3. 使用`yield`语句将解析出的`Item`对象传递给`pipelines`进行后续处理。 4. 编写`pipelines.py`中的类，如`...
xpath下载安装——Python爬虫xpath插件下载安装（2023.8亲测可用！！）
热门推荐
laosao_66的博客
07-16 1万+
baidu网盘链接：https://pan.baidu.com/s/14QDEOHUBO7t1Dfa1JnrkGA?由于浏览器的版本，大多数情况浏览器无法识别该插件，会在页面上方出现以下报错。选择后会出现如下界面，将右下角按钮点开（默认可能已为打开）”按钮，选择刚刚解压的文件夹的路径。若有问题，欢迎评论区或私信讨论！然后将该文件解压到文件夹中，如图。
爬虫入门09——Xpath安装及基本操作
xjl243636988的博客
07-08 1335
这是一个XPath规则，代表的是选择所有名称为title,同时属性lang的值为eng的节点，后面会通过Python的lxml库，利用XPath进行HTML的解析。
xpath的简介及其安装教程
weixin_46700209的博客
05-05 2115
1.xpath是什么？ xpath就是一种可以根据地址找人的技术 确定的路径 xpath是在xml下查找的技术，如果我们需要查找html文件的内容，就需要lxml库来进行转化 xpath(XML Path Language) 可以在树状结构中寻找结点 可以通过元素和属性进行导 2.xpath有什么作用？ 解析网页 提取数据 我们对不同的网页采取不同的方法，也可能会用到正则来提取都是解析网页的方法 2.html，xml，lxml的区别 html 超文本标记语言 xml 可扩展标记语言 lx
Python爬虫——使用 lxml 解析器爬取汽车之家二手车信息
05-23
好的，下面是一个简单的 Python 爬虫程序，使用 lxml 解析器爬取汽车之家二手车信息： ```python import requests from lxml import etree url = "https://www.che168.com/china/used/" response = requests.get(url) html = etree.HTML(response.text) car_list = html.xpath("//ul[@class='viewlist_ul']/li") for car in car_list: title = car.xpath(".//a[@class='carinfo_title']/text()")[0] price = car.xpath(".//p[@class='carinfo_price']/text()")[0] km = car.xpath(".//p[@class='carinfo_km']/text()")[0] year = car.xpath(".//p[@class='carinfo_year']/text()")[0] print(title, price, km, year) ``` 这段代码会先发送一个 GET 请求获取汽车之家二手车页面的 HTML 内容，然后使用 lxml 解析器解析 HTML，并通过 XPath 表达式获取到每辆二手车的标题、价格、公里数和年份信息。最后，将这些信息打印出来。 需要注意的是，如果要获取更多的二手车信息，可以通过修改 URL 中的参数来实现。例如，将 URL 修改为 `https://www.che168.com/china/used/o1s2i7`，可以获取到所有价格在 2 万元以下、公里数在 7 万公里以下的二手车信息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Billie使劲学

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值