python用src无法爬取全部图片的解决办法

最新推荐文章于 2024-09-05 10:28:02 发布

文兄兄兄

最新推荐文章于 2024-09-05 10:28:02 发布

阅读量2.3k

点赞数

分类专栏：爬虫文章标签： python 爬虫

本文链接：https://blog.csdn.net/m0_52346971/article/details/109718394

版权

当使用Python爬虫通过src获取网页图片时，遇到只能抓取到部分图片的问题，因为部分图片的真实地址在data-ks-lazyload属性中。为解决此问题，需要在爬取过程中增加获取data-ks-lazyload属性的步骤，以确保能完整获取所有图片链接。

摘要由CSDN通过智能技术生成

python用src无法爬取全部图片的解决办法

起源于我用get(‘src’)只能爬取网页起始的5张图片，剩下的返回None，当我调出完整的网页源代码后发现，原本的src=‘图片地址’，变成了data-ks-lazyload=‘图片地址’

Elements页面处图片位置是src

在这里插入图片描述

但查看完整网页源代码后就变成data-ks-lazyload

在这里插入图片描述
原因是网页图片延迟加载（为减轻网页加载压力，鼠标下滑浏览后才加载后续图片）

解决方法：加一步get(‘data-ks-lazyload’)

import requests
from bs4 import BeautifulSoup
url='https://list.tmall.com/search_product.htm?q=%B9%E8%BD%BA%CD%DE%CD%DE&type=p&vmarket=&spm=a2156.1676643.a2227oh.d100&from=mallfp..pc_1_searchbutton'
headers={'use

最低0.47元/天解锁文章

文兄兄兄

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
1
评论
python用src无法爬取全部图片的解决办法

python用src无法爬取全部图片的解决办法起源于我用get(‘src’)只能爬取网页起始的5张图片，剩下的返回None，当我调出完整的网页源代码后发现，原本的src=‘图片地址’，变成了data-ks-lazyload=‘图片地址’Elements页面处图片位置是src但查看完整网页源代码后就变成data-ks-lazyload原因是网页图片延迟加载（为减轻网页加载压力，鼠标下滑浏览后才加载后续图片）解决方法：加一步get(‘data-ks-lazyload’)import reques
复制链接

扫一扫