scrapy模拟Chrome有界面的浏览器下载谷歌搜索的图片

最新推荐文章于 2024-07-29 08:02:57 发布

小太阳☀️

最新推荐文章于 2024-07-29 08:02:57 发布

阅读量722

点赞数

分类专栏： Python 爬虫文章标签：爬虫解决的动态加载页面信息的问题

本文链接：https://blog.csdn.net/qq_38105596/article/details/80990666

版权

本文介绍了如何利用Scrapy爬虫解决动态加载页面的问题，特别是针对谷歌搜索中需要放大才能看到的图片链接。由于这些图片链接存在于JavaScript中，因此需要特殊方法来获取。通过分享的代码示例，作者旨在帮助有类似需求的读者高效地下载大量图片。

摘要由CSDN通过智能技术生成

今天公司要求爬取图片，个人觉得下载一个一个点太麻烦，量也比较大

很多想写代码的初衷都是为了偷偷懒，省省时间和精力

刚开始爬因为需要的图片都是经过放大的图片，源码里面需要的图片链接都是存在于js里面（很多信息还是得看源码分析，不能只在页面检查，因为很多信息都是动态加载出来的），好了，话不多说，附上我写的代码：（有啥问题的可在下面评论，希望能帮到有需要的人）

# -*- coding: utf-8 -*-
'''使用谷歌界面浏览器'''
import scrapy
import requests, re, os

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import urllib.request
import random
import time


class ScrapyPictureSpider(scrapy.Spider):
    name = 'ScrapyPicture'
    start_urls = []
    university_name = ['Memorial University of Newfoundland', 'University of British Columbia']
    university_name_dict = {}
    for university in university_name:
        u =