python用src无法爬取全部图片的解决办法
起源于我用get(‘src’)只能爬取网页起始的5张图片,剩下的返回None,当我调出完整的网页源代码后发现,原本的src=‘图片地址’,变成了data-ks-lazyload=‘图片地址’
Elements页面处图片位置是src
但查看完整网页源代码后就变成data-ks-lazyload
原因是网页图片延迟加载(为减轻网页加载压力,鼠标下滑浏览后才加载后续图片)
解决方法:加一步get(‘data-ks-lazyload’)
import requests
from bs4 import BeautifulSoup
url='https://list.tmall.com/search_product.htm?q=%B9%E8%BD%BA%CD%DE%CD%DE&type=p&vmarket=&spm=a2156.1676643.a2227oh.d100&from=mallfp..pc_1_searchbutton'
headers={'use