python—懒加载之爬取站长图片

于 2023-12-31 20:24:40 发布
阅读量423 收藏 12
点赞数 9
文章标签： python 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_62706098/article/details/135319033
版权

  最近在学习xpath,当爬取站长素材图片时遇到了以下问题，记录一下。

  当利用class属性在浏览器中测试是能出结果的，但在python中却得到了空值

  于是我选择了使用js-do值试试，没想到python中也出结果了

  但是却是相同的src。

  经过上网查发现这是懒加载，当我们刚开始进入到一个具有懒加载的页面时，没被加载出来的图片都是一个src,当我们下滑拖动加载完成后，图片的src也会随之变化，这个src才是我们所需要的。

 但是我们如何获得这个正确的src呢,前后src的变量名并未发生改变，经过观察我们发现有一个叫

data-original 属性里面的值和src中的值是相同的

 

直接利用这个属性值，下载成功

m0_62706098
关注
  • 9
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
爬取图片懒加载页面
panda的博客
08-21 3762
文章目录1.什么是懒加载2.为什么要使用懒加载3.如何爬取图片懒加载的网站3.1 分析爬虫页面, 指定爬取流程3.2 编写爬虫的代码4.总结 在带大家爬取图片懒加载页面之前, 先为大家介绍一下什么是图片懒加载, 懒加载有什么用, 在理解原理后再去爬取, 相信就会简单多了。 1.什么是懒加载 在一些网站或者app上会看到 鼠标或手势过快，而图片没有加载出来由色块或其他图片代替的情况，当图片出现在我们...
web scraper 插件 抓取 懒加载图片 src属性
weixin_51634734的博客
04-03 315
懒加载图片在加载前 src 属性的名称会是其他名字，加载后才会变成 src 这导致如果只用 src 属性抓取， 会丢失一些图片 这种情况用两个选择器， 分别获取 src 和 data-lazy-src 属性，之后再筛选清除无效数据就行 如果页面缓存好了，看不到 懒加载属性，可以 ctrl + f5 彻底刷新 ...
python爬虫之图片的懒加载
CP1024的博客
06-29 1091
图片的懒加载 使用xpath获取图片： 代码： import os import urllib.request import urllib.parse from lxml import etree def hanlderequest(url,page): headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/
Python爬虫 爬取懒加载页面(以站长素材为例)
12-21
一.什么是懒加载 我就简单的说一下。当你去访问一个页面的时候，这个页面可能会有很多的信息，比如淘宝，京东之类的。如果你一次性完整的加载出这个页面。显然耗时长一点，并且对于用户和服务器都是不友好的。懒加载就是当 某个图片的位置在你的屏幕范围之内，它才会加载出来。这个是比较好理解的。 （这个懒加载对用户和服务器都是比较友好的，但是对于我们爬虫来说就比较蛮烦了。往往用xpath或者bs4取解析数据的时候，就不准确。） 我们看看下面这张图片有个src2属性，我们知道img标签没有这个属性，只有src属性。所以这个是伪属性它可以是src2也可以是abc之类的，所以浏览器不会去加载。在小众范围的网站中，这
Python爬虫图片懒加载技术 selenium和PhantomJS解析
09-18
主要介绍了Python爬虫图片懒加载技术 selenium和PhantomJS解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
python爬虫图片懒加载
weixin_46244909的博客
02-14 253
import urllib.request import urllib.parse from lxml import etree import time import os def handle_request(url,page): if page == 1: url.format('') url = url else: url = url.format('_'+str(page)...
Python爬虫项目之爬取校花图片.zip
最新发布
05-30
在这个名为“Python爬虫项目之爬取校花图片”的案例中，我们将学习如何利用Python来爬取网页上的校花图片。 首先，我们需要了解Python中的几个关键爬虫库。其中最常用的是BeautifulSoup和Requests。Requests库用于...
python3+selenium爬取百度图片
12-21
python3+selenium爬取百度图片 from selenium import webdriver from lxml import etree from urllib import request import time class Baidu_pic(object): def __init__(self,kw): self.kw = kw options = ...
Python爬虫实战之爬取网站全部图片三
02-27
此代码是爬取整站的完整代码，运行就可以直接爬完站上所有的图片。 但是以为代码是python2的，如果使用python3的朋友请自行修改相关函数，代码中也有相关的注释。 代码使用多线程进行批量下载 文章地址:...
python协程gevent案例 爬取斗鱼图片过程解析
09-18
在这个案例中，我们将探讨如何使用 Gevent 和 Python 进行斗鱼图片的爬取。 首先，我们需要理解协程的基本原理。与传统的多线程或多进程模型不同，协程并不创建新的执行上下文，而是共享同一个线程，通过切换执行...
【Python爬虫】懒加载
qq_1532145264的博客
05-28 1133
懒加载，也就是延迟加载。
爬取站长图片（图片懒加载）
lose_user___的博客
05-25 256
属性是固定不变的，可以通过抓取这个数据，来得到图片的信息。
Python爬虫 | 反爬机制：懒加载（动态加载数据的爬取）
你必须十分努力，才能看起来毫不费力！
11-20 3148
代码仅用于学习，切勿在其他用途使用！ 如对您的网站造成困扰，私信秒删！ 示例网站：豆瓣电影 https://movie.douban.com/explore 示例网站展示 按照之前爬取网页的操作保存网页 url = 'https://movie.douban.com/explore' headers = {#封装请求头 'User-Agent':'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KH
【python爬虫】懒加载（以站长素材为例）
weixin_63133658的博客
12-03 2081
什么是懒加载？
Python 爬虫 处理图片懒加载
zhaoxr233的博客
05-24 2486
1、背景 在网页源码中，在img标签中首先会使用一个“伪属性”（通常使用src2，original......）去存放真正的图片链接而并非是直接存放在src属性中。当图片出现到页面的可视化区域中，会动态将伪属性替换成src属性，完成图片的加载，该图片加载后就可以查阅到相关的伪属性，访问的时候利用伪属性去访问 2、需要的python包 pip install lxml or pip ins...
懒加载问题，爬虫无法用src爬取图片问题
chenjiale_123的博客
01-28 1385
什么是懒加载 当你去访问一个页面的时候，这个页面可能会有很多的信息，比如淘宝，京东之类的。如果你一次性完整的加载出这个页面。显然耗时长一点，并且对于用户和服务器都是不友好的。懒加载就是当 某个图片的位置在你的屏幕范围之内，它才会加载出来。这个是比较好理解的。 我们看看下面这张图片有个src2属性，我们知道img标签没有这个属性，只有src属性。所以这个是伪属性它可以是src2也可以是abc其他之类的，所以浏览器不会去加载。在小众范围的网站中，这种懒加载是常用的方法。 因此抓取用src2，而不是用src。
关于网页中懒加载的爬取
qq_44614439的博客
06-20 939
这两天因为正在学习爬取的内容，但是遇到了网页中img中图片的懒加载，无法爬取，百度了两天，大概是因为笨没看懂别的博主写的； 我主要是做的漫画的爬取 主要是Java语言写的 public static void s() throws Exception { /** 链接根据自己的需求改就可以了 */ System.setProperty("webdriver.chrome.driver","C:...
python实现懒加载图片的下载
记录在编码的路上
10-08 2292
最近接了一个需求，需要爬取阿里巴巴网站上指定网址的详情图片，想来是个很容易的事情，也就需要采集一下网页，在此基础上做一些匹配性质的操作就应该可以了，也就是顺手而为的事情。
懒加载和抓取策略
09-05 1320
hibernate中性能的指标：发出sql语句的数量 我们来讨论一下hibernate的性能问题，能提升hibernate的性能的方式有： 1、懒加载 2、抓取策略 3、hql语句 4、查询缓存 我们先来说一下懒加载： hibernate的懒加载是针对类、集合、多对一单向关联什么时候发出SQL语句的技术。 我们通过例子来说明：在这里我们讨论集合的懒加载public void test
python怎么用request爬取百度图片
07-12
要使用Python的requests库爬取百度图片，您可以按照以下步骤进行操作： 1. 安装requests库：如果您还没有安装requests库，可以使用以下命令进行安装： ``` pip install requests ``` 2. 编写爬取代码：下面是一个简单的例子，演示如何使用requests库爬取百度图片的搜索结果： ```python import requests def download_images(keyword, num_images): # 构建百度图片搜索的URL search_url = f'https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&word={keyword}&pn=0&rn={num_images}' # 发送GET请求 response = requests.get(search_url) # 处理响应结果 if response.status_code == 200: # 获取图片URL image_urls = [data['middleURL'] for data in response.json().get('data', []) if 'middleURL' in data] # 下载图片 for i, url in enumerate(image_urls): try: response = requests.get(url) with open(f'image{i}.jpg', 'wb') as f: f.write(response.content) print(f'Successfully downloaded image{i}.jpg') except: print(f'Failed to download image{i}.jpg') else: print('请求失败') # 要搜索的关键词和要下载的图片数量 keyword = 'cat' num_images = 10 # 执行爬取 download_images(keyword, num_images) ``` 在上述代码中，我们构建了一个特定的URL，其中包含了搜索关键词和要下载的图片数量。然后，我们发送GET请求来获取搜索结果，并解析响应结果中的图片URL。最后，我们使用requests库下载图片并保存到本地。 请注意，这只是一个简单的示例，实际应用中可能需要更多的处理和错误处理。另外，爬取网站的图片可能需要遵守该网站的使用条款和法律法规。请确保遵守相关规定并尊重他人的权益。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值