【爬虫获取数据集(附代码)】Python爬取动态加载网页图片:以bd识图为例
最近小组在做深度学习的课设,需要一些数据集,由于直接用关键词搜出来的图片会混入一些奇怪的图片,为了使搜集更准确,用上了百度的以图搜图功能。打开以后是一个动态加载的网页,按F12打开调试工具DevTools。选择Network下的XHR(XMLHttpRequest),过滤AJAX请求。刷新一下网页,下拉滚动条让它抓包。在Name中找到图中框处来的请求,在Preview里可以看到有一个list装着我们想要的图片。在文末的代码中替换掉sign、sids和logid字段..
原创
2021-11-03 20:58:04 ·
1879 阅读 ·
3 评论