Python爬虫 懒加载页面

最新推荐文章于 2023-10-11 10:00:20 发布
最新推荐文章于 2023-10-11 10:00:20 发布
阅读量1k 收藏 1
点赞数
分类专栏： python爬虫# 逆向 python 文章标签： python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45381845/article/details/129339087
版权

在爬取图片网站时发现浏览器上显示的源码和使用python爬取的源码不同，这里指html页面。网上给的解释是网站使用了懒加载模式，意识是说页面在浏览器加载的时候不会全部加载，而是等用户向下滑动或者页面显示在屏幕范围内时才会加载，这样的好处是减小服务器压力，缩短页面响应时间。
下面展示一下具体
在浏览器中通过xpath取值图片的src属性，都是正常的
在这里插入图片描述
在python中爬取的代码却是这个样子，没有src属性，只有data-original属性，推测页面在视口区域加载时通过js将src属性添加到img中，并且将data-original的值赋给src。
在这里插入图片描述
这里我使用的时lxml库，通过这种方法就可以取src的值了，另外大家注意这里div[@class=“item masonry_brick”]有两个类属性，如果只写一个属性是找不到对应元素的。

div_list = html.xpath('//div[@id="infinite_scroll"]/div[@class="item masonry_brick"]/div[@class="item_t"]/div[@class="img"]/a/img/@data-original')
python爬虫——图片懒加载之爬取站长素材图片
weixin_44321116的博客
02-09 2678
一.分析 1.url分析 url可能为http://sc.chinaz.com/tupian/gudianmeinvtupian_{}.html 尝试第一页，http://sc.chinaz.com/tupian/gudianmeinvtupian_1.html，结果不成功，说明第一页和其他页不同 2.查看编码 3.xpath匹配 第一页全部图片浏览完后可以用xpath匹配到：//di...
Python 爬虫 处理图片懒加载
zhaoxr233的博客
05-24 2545
1、背景 在网页源码中，在img标签中首先会使用一个“伪属性”（通常使用src2，original......）去存放真正的图片链接而并非是直接存放在src属性中。当图片出现到页面的可视化区域中，会动态将伪属性替换成src属性，完成图片的加载，该图片加载后就可以查阅到相关的伪属性，访问的时候利用伪属性去访问 2、需要的python包 pip install lxml or pip ins...
Python爬虫 爬取懒加载页面(以站长素材为例)
12-21
一.什么是懒加载 我就简单的说一下。当你去访问一个页面的时候，这个页面可能会有很多的信息，比如淘宝，京东之类的。如果你一次性完整的加载出这个页面。显然耗时长一点，并且对于用户和服务器都是不友好的。懒加载就是当 某个图片的位置在你的屏幕范围之内，它才会加载出来。这个是比较好理解的。 （这个懒加载对用户和服务器都是比较友好的，但是对于我们爬虫来说就比较蛮烦了。往往用xpath或者bs4取解析数据的时候，就不准确。） 我们看看下面这张图片有个src2属性，我们知道img标签没有这个属性，只有src属性。所以这个是伪属性它可以是src2也可以是abc之类的，所以浏览器不会去加载。在小众范围的网站中，这
【Python爬虫】懒加载
qq_1532145264的博客
05-28 1366
懒加载，也就是延迟加载。
【python爬虫】懒加载（以站长素材为例）
weixin_63133658的博客
12-03 2407
什么是懒加载？
python爬虫二(懒加载，正则解析)
qq_37623764的博客
04-14 642
站长素材图片数据的爬取： 老规矩：先判断页面数据是否是ajax生成，在局部搜索发现不是动态加载的数据。 除了可以在response选项卡中进行局部搜索外，我们还可以去preview可视化中，发现preview中只显示了图片名称没有显示图片内容。 接着看发现，站长素材就是用的图片懒加载： 图片懒加载是什么意思呢，就是不在用户可视化范围内的图片前端src标签统统是src2，当然这个可以不是src...
Python爬虫项目合集（源代码）
最新发布
06-23
Python爬虫项目合集是一个包含了多种Python爬虫技术与实践案例的资源集合，它为学习者提供了丰富的实战素材，帮助他们深入理解网络数据抓取、处理和分析的过程。在这个项目合集中，我们可以找到多种不同类型的爬虫源...
python爬虫课件+代码.zip
07-25
课程中，你将学习到如何处理JavaScript动态加载的内容，因为很多现代网站使用AJAX技术，数据往往在页面加载后才通过JavaScript动态生成。此时，你可以使用Selenium库模拟浏览器行为，动态获取这些数据。Selenium不仅...
python爬虫之大众点评信息爬虫.zip
01-11
Python爬虫是通过编程方式自动化访问Web页面并提取所需信息的工具。主要涉及的库有BeautifulSoup、Requests、Scrapy等。在这个项目中，可能会使用到Requests库发送HTTP请求获取网页源码，然后用BeautifulSoup解析...
python爬虫图片懒加载
weixin_46244909的博客
02-14 287
import urllib.request import urllib.parse from lxml import etree import time import os def handle_request(url,page): if page == 1: url.format('') url = url else: url = url.format('_'+str(page)...
Python爬虫 | 反爬机制：懒加载（动态加载数据的爬取）
你必须十分努力，才能看起来毫不费力！
11-20 3424
代码仅用于学习，切勿在其他用途使用！ 如对您的网站造成困扰，私信秒删！ 示例网站：豆瓣电影 https://movie.douban.com/explore 示例网站展示 按照之前爬取网页的操作保存网页 url = 'https://movie.douban.com/explore' headers = {#封装请求头 'User-Agent':'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KH
豆瓣电影爬虫练习之下滑惰性加载（延迟加载、懒加载、无限滚动、瀑布流）
andux的专栏
10-11 942
爬虫如果要翻页，需要有page参数变化，有规律才好翻页继续爬下去，如果没有规律，就只能爬一次就结束了，所以爬虫要持续执行，需要找到数据加载的规律，也就是找到那个动态变化的参数，而且这个参数还是有规律的，比如每次加1，或者像豆瓣电影列表里，每次加20。爬豆瓣电影列表用MongoDB数据库进行保存数据，需要在MongoDB中创建一个数据库和表（collection）。其中参数start在变化，其他的参数都不变，这就有规律可循了。
python爬虫之图片的懒加载
CP1024的博客
06-29 1154
图片的懒加载 使用xpath获取图片： 代码： import os import urllib.request import urllib.parse from lxml import etree def hanlderequest(url,page): headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/
python爬虫 下载一个网页内的图片解决分页以及图片懒加载的问题
qq_39279425的博客
10-13 926
话不都说,先上代码: import urllib.parse import urllib.request from lxml import etree import time import os def handle_request(url, page): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.37
Python之实例懒加载实现
willluckysmile的博客
12-18 1213
class LazyProxy: def __init__(self, cls, *args, **kwargs): print("INIT PROXY") self.__dict__['_cls'] = cls self.__dict__['_params'] = args self.__dict__['_kwargs'] = kwargs self.__dict__['_obj'] = None def .
爬取站长图片（图片懒加载）
lose_user___的博客
05-25 378
属性是固定不变的，可以通过抓取这个数据，来得到图片的信息。
Python3爬取京东商品数据，解决赖加载问题
LeeGene的博客
11-18 6722
前言 在这里我就不再一一介绍每个步骤的具体操作了，因为在上一次爬取今日头条数据的时候都已经讲的非常清楚了，所以在这里我只会在重点上讲述这个是这么实现的，如果想要看具体步骤请先去看我今日头条的文章内容，里面有非常详细的介绍以及是怎么找到加密js代码。 Python3爬取今日头条文章视频数据，完美解决as、cp、_signature的加密方法 爬取数据 爬取京东商品信息首先需要先获取到他的商品url链...
python爬虫动态加载页面
07-29
要实现Python爬虫动态加载页面，可以使用以下几种方法： 1. 使用Selenium库：Selenium是一个自动化测试工具，也可用于爬取动态加载页面。你可以使用Selenium启动一个浏览器，模拟用户的操作，等待页面加载完成后再...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值