【python爬虫】懒加载（以站长素材为例）

已于 2023-05-25 16:06:41 修改
阅读量2k 收藏 1
点赞数 6
分类专栏： python爬虫 文章标签： 爬虫 html5
于 2022-12-03 17:44:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_63133658/article/details/128163839
版权

什么是懒加载？

简单的说一下，当你去访问一个页面的时候，这个页面可能会有很多的信息，比如某宝之类的。如果你一次性完整的加载出这个页面。显然耗时长一点，并且对于用户和服务器都是不友好的。懒加载就是当某个图片的位置在你的屏幕范围之内，它才会加载出来。这个是比较好理解的。

（这个懒加载对用户和服务器都是比较友好的，但是对于我们爬虫来说就比较蛮烦了。往往用xpath或者bs4取解析数据的时候，就不准确。）

我们来看看以下检索，使用xpath，路径为//div[@class="item masonry-brick"]/img/@src，可以看到图片的上方扩展程序中result的确拿到了40条src

图一

但此时部分src并不是图片真实的路径，使用该路径并不能得到图片，例如这一条 ../static/common/com_images/img-loding.png，这不是一个正确的路径，这就是因为我还没有浏览到这张图片，这是加载前的src，也就是懒加载，见下图

图二

浏览之后，src就变成了正确的图片路径，如下图所示

以上就是对懒加载的解释，觉得有用，可以支持一下萌新！！！

奕雨.
关注
  • 6
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 10
    评论
专栏目录
Python爬虫 爬取懒加载页面(以站长素材为例)
12-21
一.什么是懒加载 我就简单的说一下。当你去访问一个页面的时候，这个页面可能会有很多的信息，比如淘宝，京东之类的。如果你一次性完整的加载出这个页面。显然耗时长一点，并且对于用户和服务器都是不友好的。懒加载就是当 某个图片的位置在你的屏幕范围之内，它才会加载出来。这个是比较好理解的。 （这个懒加载对用户和服务器都是比较友好的，但是对于我们爬虫来说就比较蛮烦了。往往用xpath或者bs4取解析数据的时候，就不准确。） 我们看看下面这张图片有个src2属性，我们知道img标签没有这个属性，只有src属性。所以这个是伪属性它可以是src2也可以是abc之类的，所以浏览器不会去加载。在小众范围的网站中，这
08.Python网络爬虫之图片懒加载技术、selenium和PhantomJS
weixin_33862041的博客
09-21 300
引入 今日概要 图片懒加载 selenium phantomJs 谷歌无头浏览器 知识点回顾 验证码处理流程 今日详情 动态数据加载处理 一.图片懒加载 什么是图片懒加载？ 案例分析：抓取站长素材http://sc.chinaz.com/中的图片数据 #!/usr/bin/env python # -*- coding:utf-8 -*- ...
Python 爬取网上图片到本地 源码
weixin_45619494的博客
03-13 499
data-original="//scpic.chinaz.net/files/default/imgs/2022-12-13/14b80df1dab40b0e_s.jpg" # 需要获取这个，这个是url。# alt="欧美时尚戴帽女生写真图片" # 这个获取的是图片名字。# request请求获取 每个图片url 的数据流。# //标签[@后面内容]/子标签/@需要获取的指定标签。# 获取页面码源代码的 图片url地址。# 获取页面码源代码的 每张图片的名字。
Python爬虫 | 反爬机制：懒加载（动态加载数据的爬取）
你必须十分努力，才能看起来毫不费力！
11-20 3148
代码仅用于学习，切勿在其他用途使用！ 如对您的网站造成困扰，私信秒删！ 示例网站：豆瓣电影 https://movie.douban.com/explore 示例网站展示 按照之前爬取网页的操作保存网页 url = 'https://movie.douban.com/explore' headers = {#封装请求头 'User-Agent':'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KH
python爬虫之图片的懒加载
CP1024的博客
06-29 1091
图片的懒加载 使用xpath获取图片： 代码： import os import urllib.request import urllib.parse from lxml import etree def hanlderequest(url,page): headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/
Python爬虫图片懒加载技术 selenium和PhantomJS解析
09-18
主要介绍了Python爬虫图片懒加载技术 selenium和PhantomJS解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
python爬虫-解析-站长素材.py
10-14
python爬取站长素材网站图片代码2023 使用时候将要爬取的网站修改就可。 若网站后续有修改，需要矫正xpath路径。
python爬虫 抓取页面图片
07-30
python爬虫 抓取页面图片python爬虫 抓取页面图片python爬虫 抓取页面图片
python爬虫站长素材图片
06-23
只要更换url地址就可以爬虫到你想要的不同种类的图片
Python爬虫百例第71讲案例素材.zip
06-12
在本讲中，我们将深入探讨Python爬虫技术，特别是针对"Python爬虫百例第71讲案例素材.zip"这个压缩包内的音频处理（audio.py）和视频处理（video.py）两个方面。这个教程旨在帮助初学者更好地理解和实践Python在数据...
vue 图片显示失败 显示默认图片
weixin_46544600的博客
05-12 1064
写法一 <img class="headerImg" :src="item.headImg || './images/common/rankingpic.jpg'" onerror="this.src='./images/common/rankingpic.jpg';" alt=""> 写法二 （在脚手架中 需要用require 拿到默认图片资源） <img class="headerImg" :src="''" :onerror="defaultImg" alt=""> //
爬取图片懒加载页面
panda的博客
08-21 3762
文章目录1.什么是懒加载2.为什么要使用懒加载3.如何爬取图片懒加载的网站3.1 分析爬虫页面, 指定爬取流程3.2 编写爬虫的代码4.总结 在带大家爬取图片懒加载页面之前, 先为大家介绍一下什么是图片懒加载, 懒加载有什么用, 在理解原理后再去爬取, 相信就会简单多了。 1.什么是懒加载 在一些网站或者app上会看到 鼠标或手势过快，而图片没有加载出来由色块或其他图片代替的情况，当图片出现在我们...
python爬虫——图片懒加载之爬取站长素材图片
weixin_44321116的博客
02-09 2549
一.分析 1.url分析 url可能为http://sc.chinaz.com/tupian/gudianmeinvtupian_{}.html 尝试第一页，http://sc.chinaz.com/tupian/gudianmeinvtupian_1.html，结果不成功，说明第一页和其他页不同 2.查看编码 3.xpath匹配 第一页全部图片浏览完后可以用xpath匹配到：//di...
懒加载、访问权限以及异常处理
汪宣桐的博客
04-23 199
懒加载 在需要使用的使用进行加载。 =后面可以加的值：具体的值、构造函数、一般函数、闭包 // 具体的值 class Person { lazy var name: String = "xxxx" } // 调用构造函数 class Person { lazy var dog: Dog = Dog() } // 一般函数 class Person {
Python爬虫教程第3篇-解决使用reqeusts遇到的ProxyError异常
最新发布
分享技术，记录思考和感悟
07-09 533
Python request代理错误提示“HTTPSConnectionPool, Cannot connect to proxy, no such file or directory”
python爬虫入门（二）之Requests库
2302_79795489的博客
07-05 248
1、requests库让我们可以通过python代码去构建和发送HTTP请求2、第三方库，要先安装python终端，输入pip install requestssuccessfully installed：安装成功requirement already satisfied: 说明已经安装过，无需再安装若没有pip（python包管理工具）则可以先去http://pip.pypa.io/en/stable/installation/学习下载安装3、
python爬虫懒加载
10-11
实现懒加载可以使用Selenium等工具来模拟用户操作，使得网页自动滚动加载。具体来说，可以通过以下步骤来实现： 1. 使用Selenium打开目标网页，并模拟用户操作使得网页开始加载； 2. 使用Selenium获取当前网页的源代码； 3. 解析源代码，提取需要的信息； 4. 判断是否已经加载到了最后一页，若是则停止加载，否则继续执行步骤1~3。 需要注意的是，在实现过程中需要根据具体的网站情况进行调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值