python爬虫——图片懒加载之爬取站长素材图片

最新推荐文章于 2023-10-11 10:00:20 发布
最新推荐文章于 2023-10-11 10:00:20 发布
阅读量2.5k 收藏 16
点赞数 4
分类专栏： python爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44321116/article/details/104232829
版权

一.分析

1.url分析

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
url可能为http://sc.chinaz.com/tupian/gudianmeinvtupian_{}.html
尝试第一页，http://sc.chinaz.com/tupian/gudianmeinvtupian_1.html，结果不成功，说明第一页和其他页不同
在这里插入图片描述

2.查看编码

在这里插入图片描述

3.xpath匹配

第一页全部图片浏览完后可以用xpath匹配到：//div[@id="container"]/div/div/a/img/@src
在这里插入图片描述
第二页没有全部浏览完
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

最低0.47元/天 解锁文章
独听钟声晚
关注
  • 4
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
【网页性能优化】-—— 关于图片懒加载
yan的秘密基地
07-21 1127
懒加载是一种网页性能优化的方式，它能极大的提升用户体验。就比如说图片，图片一直是影响网页性能的主要元凶，现在一张图片超过几兆已经是很经常的事了。如果每次进入页面就请求所有的图片资源，那么可能等图片加载出来用户也早就走了。所以，我们需要懒加载，进入页面的时候，只请求可视区域的图片资源。全部加载的话会影响用户的体验浪费用户的流量，有些用户并不想全部看完，全部加载会耗费大量流量提示以下是本篇文章正文内容，下面案例可供参考。...
python爬取站长素材上的图片
罗纳尔康的博客
03-28 1292
##Python爬取站长素材上的图片 罗纳尔康 首先这是一个学习的案例，我将其记录下来，因为所学的内容有点多，爬取这个图片，我是用的xpath来解析网页，当然也可以用bs4来进行解析，看个人喜好，该案例比较简单，但涉及的内容并不少。 1.分析每页的url地址栏 第一页：https://sc.chinaz.com/tupian/gougoutupian.html 第二页：https://sc.chinaz.com/tupian/gougoutupian_2.html 第三页：https://sc.chinaz
python获取站长之家素材
快乐江小鱼的博客
06-07 164
python获取站长之家素材
Python爬虫——批量爬取站长素材
错过人间飞鸿的博客
07-28 689
批量爬取图片
Python爬虫 爬取懒加载页面(以站长素材为例)
weixin_44238730的博客
04-19 7159
一.什么是懒加载 我就简单的说一下。当你去访问一个页面的时候，这个页面可能会有很多的信息，比如淘宝，京东之类的。如果你一次性完整的加载出这个页面。显然耗时长一点，并且对于用户和服务器都是不友好的。懒加载就是当你浏览到某个图片的位置，它才会加载出来。比如你在看小说，你屏幕所没有显示到的内容 ...
豆瓣电影爬虫练习之下滑惰性加载（延迟加载、懒加载、无限滚动、瀑布流）
最新发布
andux的专栏
10-11 881
爬虫如果要翻页，需要有page参数变化，有规律才好翻页继续爬下去，如果没有规律，就只能爬一次就结束了，所以爬虫要持续执行，需要找到数据加载的规律，也就是找到那个动态变化的参数，而且这个参数还是有规律的，比如每次加1，或者像豆瓣电影列表里，每次加20。爬豆瓣电影列表用MongoDB数据库进行保存数据，需要在MongoDB中创建一个数据库和表（collection）。其中参数start在变化，其他的参数都不变，这就有规律可循了。
Python爬虫图片懒加载技术 selenium和PhantomJS解析
09-18
主要介绍了Python爬虫图片懒加载技术 selenium和PhantomJS解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
Pyspider框架——Python爬虫实战之爬取V2EX网站帖子
02-20
Pyspider框架学习时走过的一些坑我所遇到的一些错误：首先，本爬虫目标：使用Pyspider框架爬取V2EX网站的帖子中的问题和内容，然后将爬取的数据保存在本地。V2EX中大部分的帖子查看是不需要登录的，当然
vue实现图片懒加载的五种方式
weixin_43913643的博客
09-18 4912
推荐使用插件
爬取图片文件时 Lazy Load（图片延迟加载）的处理(xpath定位方式)
crayonjingjing的博客
05-17 2271
注意：以后再遇到图片lazyload问题，先从找到真正属性入手，不要被加密和混淆绕远：如果控制台的elements里面看不到真正属性，那就右键从网页源代码里面找图片链接对应的真正属性！ 在爬取脑筋猜词画迷题库的时候，爬取到的图片没有正常显示网页src后面对应的链接，而是显示’data:image/gif;base64,R0lGODdhAQABAPAAAMPDwwAAACwAAAAAAQABAAACAkQBADs='，如下图所示： 原因是src对应的链接，设置了lazyloaded（延迟加载），所以不应用
Python爬虫 懒加载页面
weixin_45381845的博客
03-04 964
在爬取图片网站时发现浏览器上显示的源码和使用python爬取的源码不同，这里指html页面。网上给的解释是网站使用了懒加载模式，意识是说页面在浏览器加载的时候不会全部加载，而是等用户向下滑动或者页面显示在屏幕范围内时才会加载，这样的好处是减小服务器压力，缩短页面响应时间。在python中爬取的代码却是这个样子，没有src属性，只有data-original属性，推测页面在视口区域加载时通过js将src属性添加到img中，并且将data-original的值赋给src。
图片懒加载(三种方式)
程序员
05-16 1390
其实上面两种方式已经大致实现懒加载，但是，它们都有一个缺点，就是一当发生滚动事件时，就发生了大量的循环和判断操作判断图片是否可视区里。这里就引入了一个叫 Intersection Observer 观察器接口，它是是浏览器原生提供的构造函数，使用它能省到大量的循环和判断。这个构造函数的作用是它能够观察可视窗口与目标元素产生的交叉区域。简单来说就是当用它观察我们的图片时，当图片出现或者消失在可视窗口，它都能知道并且会执行一个特殊的回调函数，我们就利用这个回调函数实现我们的操作。
Python爬虫 | 反爬机制：懒加载（动态加载数据的爬取）
你必须十分努力，才能看起来毫不费力！
11-20 3148
代码仅用于学习，切勿在其他用途使用！ 如对您的网站造成困扰，私信秒删！ 示例网站：豆瓣电影 https://movie.douban.com/explore 示例网站展示 按照之前爬取网页的操作保存网页 url = 'https://movie.douban.com/explore' headers = {#封装请求头 'User-Agent':'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KH
python爬虫 下载一个网页内的图片解决分页以及图片懒加载的问题
qq_39279425的博客
10-13 837
话不都说,先上代码: import urllib.parse import urllib.request from lxml import etree import time import os def handle_request(url, page): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.37
爬取站长素材简历模板（xpath）
Qp12345678900000的博客
10-19 1010
作业二——爬取站长素材简历模板（xpath） 下面是我导入的三个模块。 import requests from lxml import etree import os headers是为了进行UA伪装，url是需爬取的网页的链接。 headers={ 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.63 Safari/537.36
【Python从入门到进阶】29、xpath抓取站长素材图片
程序猿之洞
07-22 1229
我们本次需要利用python的urllib+xpath技术，抓取站长之家首页大概有40张左右的图片，我们会根据图片抓取的深度，分为抓取图片缩略图、详情页面图和高清大图三种类型。
Python爬虫——使用 lxml 解析器爬取汽车之家二手车信息
05-23
好的，下面是一个简单的 Python 爬虫程序，使用 lxml 解析器爬取汽车之家二手车信息： ```python import requests from lxml import etree url = "https://www.che168.com/china/used/" response = requests.get(url) html = etree.HTML(response.text) car_list = html.xpath("//ul[@class='viewlist_ul']/li") for car in car_list: title = car.xpath(".//a[@class='carinfo_title']/text()")[0] price = car.xpath(".//p[@class='carinfo_price']/text()")[0] km = car.xpath(".//p[@class='carinfo_km']/text()")[0] year = car.xpath(".//p[@class='carinfo_year']/text()")[0] print(title, price, km, year) ``` 这段代码会先发送一个 GET 请求获取汽车之家二手车页面的 HTML 内容，然后使用 lxml 解析器解析 HTML，并通过 XPath 表达式获取到每辆二手车的标题、价格、公里数和年份信息。最后，将这些信息打印出来。 需要注意的是，如果要获取更多的二手车信息，可以通过修改 URL 中的参数来实现。例如，将 URL 修改为 `https://www.che168.com/china/used/o1s2i7`，可以获取到所有价格在 2 万元以下、公里数在 7 万公里以下的二手车信息。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值