使用Selenium及Requests多线程批量爬取浏览器图片

已于 2024-06-07 16:17:10 修改
阅读量111 收藏 1
点赞数
分类专栏： python 爬虫 文章标签： 爬虫 selenium python
于 2022-07-18 14:27:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/haerxiluo/article/details/125845921
版权

文章目录

前言

通过对一万张浏览器图片的爬取，快速上手Selenium与Requests两大爬虫工具，本文思路是先通过selenium定位浏览器图片网页链接并将链接存到本地上，再用requests库对本地上的图片链接进行爬取。

一、通过selenium定位图片链接

1.读入要爬取图片的关键字


在这里插入图片描述

读入excel关键字文件代码：

def load_date(file_name):
    with open(file_name) as f:
        reader = csv.reader(f)
        header_row = next(reader)
        content = []
        for row in reader:
            print(row)
            content.append(row)

        return content #返回文件关键字列表

2.定位元素及抓取链接

初始化webdriver对象：

    # 使用代理ip
    options.add_argument('--proxy-server=http://127.0.0.1:10809') 
    wd = webdriver.Chrome(service=Service(r'D:\Study\chromedriver.exe'), options=options)
    wd.implicitly_wait(5)

先进入浏览器图片网站，随便输一个关键字

通过浏览器自带的开发者工具用xpath或者css selector找到输入框（需要输入每个关键字去找图片）以及每张图片的链接，如图所示：
在这里插入图片描述


在这里插入图片描述
不难看出，输入框定位可以用：

    element = wd.find_element(By.XPATH, "//*[@id='REsRA']")

图片定位可以用：

    elements = wd.find_elements(By.CSS_SELECTOR, "#islrg > div.islrc > div > a  img")

在往下拉过程中可以发现，浏览器图片不点击更多图片的话，是显示400张图片，这里我们不用点击更多，一个关键字就抓取400张图片。但在用selenium下拉过程中不能直接拉到底，这样会缺失大量获取的图片链接，返回空值，所以需要一截一截的往下拉，慢慢获取图片的链接。代码如下： 
    for i in range(32):
        # 获取页面初始高度
        # js = "return action=document.body.scrollHeight"
        # height = wd.execute_script(js)
        # print(height) # 高度为3512
        
        # 将滚动条下拉
        wd.execute_script('window.scrollBy(0, 1000)')
        sleep(5)

抓取过程中，可以用多线程加速抓取：

def multi_thread(content):
    print("multi_thread begin")
    threads = []
    # 创建多线程找到分别获取25个关键词图片链接
    for i in range(25):
        threads.append(
            Thread(target=craw, args=(",".join(content[i]),))
        )

    for thread in threads:
        thread.start()

    for thread in threads:
        thread.join()
    print("multi_thread end")

最后将selenium抓取到的链接用txt文件保存到本地

3.完整代码

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from time import sleep
import time
import csv
from threading import Thread


def load_date(file_name):
    with open(file_name) as f:
        reader = csv.reader(f)
        header_row = next(reader)
        content = []
        for row in reader:
            print(row)
            content.append(row)

        return content


def multi_thread(content):
    print("multi_thread begin")
    threads = []
    # 创建多线程找到分别获取25个关键词图片链接
    for i in range(25):
        threads.append(
            Thread(target=craw, args=(",".join(content[i]),))
        )

    for thread in threads:
        thread.start()

    for thread in threads:
        thread.join()
    print("multi_thread end")


def craw(key_word):
    prefs = {
        'profile.default_content_setting_values': {
            'notifications': 2    #隐藏chromedriver的通知
        },
        'credentials_enable_service':False,      #隐藏chromedriver自带的保存密码功能
        'profile.password_manager_enabled':False #隐藏chromedriver自带的保存密码功能
    }
    # 创建一个配置对象
    options = webdriver.ChromeOptions()
    options.add_experimental_option('prefs', prefs)
    options.add_experimental_option('excludeSwitches', ['enable-automation'])  # 设置为开发者模式,禁用chrome正受到自动化检测的显示
    # 设置无头模式
    # options.add_argument('--no-sandbox')# 解决DevToolsActivePort文件不存在的报错
    # options.add_argument('--disable-dev-shm-usage')
    # options.add_argument('--disable-gpu')  # 谷歌文档提到需要加上这个属性来规避bug
    # options.add_argument('--headless')

    # 使用代理ip
    options.add_argument('--proxy-server=http://127.0.0.1:10809')
    wd = webdriver.Chrome(service=Service(r'D:\Study\chromedriver.exe'), options=options)
    wd.implicitly_wait(5)

    url = "https://www.google.com/search?q=barber&sxsrf=ALiCzsYUXHmAB-W1-C92ipNPeH_WRVUb0A:1657352656150&source=lnms&tbm=isch&sa=X&ved=2ahUKEwiGiNnip-v4AhVOl2oFHbZEDr4Q_AUoAnoECAMQBA&biw=1536&bih=754&dpr=1.25"
    wd.get(url=url)
    sleep(5)

    element = wd.find_element(By.XPATH, "//*[@id='REsRA']")
    element.clear()
    element.send_keys(key_word + '\n')
    sleep(2)

    # print(wd.page_source)
    # 爬取动态网站必备代码:需要爬取网站大量数据就可以这么做，一直往下拉滚动条使数据显示出来
    for i in range(32):
        # 获取页面初始高度
        # js = "return action=document.body.scrollHeight"
        # height = wd.execute_script(js)
        # print(height) # 高度为3512

        # 将滚动条下拉
        wd.execute_script('window.scrollBy(0, 1000)')
        sleep(5)

    sleep(5)
    elements = wd.find_elements(By.CSS_SELECTOR, "#islrg > div.islrc > div > a  img")
    print("elements's len:")
    print(len(elements))

    f = open(key_word + ".txt", "a", encoding="utf-8")

    for i in range(400):
        print(i)
        href = elements[i].get_attribute('src')
        if href == None:
            print(href)
            continue
        print(href)
        f.write("".join(href) + '\n')
        print('\n')
        if i % 50 == 0:
            sleep(10)
    f.close()

    wd.close()


if __name__ == '__main__':
    file_name = r'C:\Users\HP\Desktop\graduate student\1.csv'
    content = load_date(file_name)
    sleep(2)
    #  将列表list转换成字符串
    # str_content = ",".join(content[0])
    # print(str_content)

    start = time.time()
    multi_thread(content)
    end = time.time()
    print("cost:", end - start)

    # f = open(str_content+'.txt','a',encoding='utf-8')
    # for i in range(25):
    #     f.write(",".join(content[i])+'\n')
    # f.close()

结果如下图所示：
txt文件为下载存放的图片链接


在这里插入图片描述
可以看到下载的链接里不完全是图片的url，还有浏览器缓存的数据，这些数据不能够通过requests库进行抓取，需要进行解码后获得，详细代码看第二部分。


二、requests下载图片

1.获取文件夹下各个txt文件

通过os模块及filter和lambda函数过滤各个txt文件：

 # 读取文件夹下txt文件
    path = r"C:\Users\HP\PycharmProjects\untitled\Selenium\WeekTask"
    # path1 = r"C:\Users\HP\PycharmProjects\untitled\Selenium\WeekTask\图库"

    files = os.listdir(path)
    print(files)
    txt_files = list(filter(lambda x: x[-4:] == '.txt', files))
    print(txt_files)

2.获取图片

代码如下：

# 下载图片并保存到各个文件夹下
def getpicture(file):
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36",
        'Referer': 'https://www.google.com/'
    }

    count = len(open(file, 'r').readlines())
    print(count)

    # 判断以关键字命名的文件夹是否存在，若不存在则创建文件夹
    if file not in os.listdir(path1):
        # print(file.title().split('.')[0])
        os.makedirs(f'{path1}/{file.title().split(".")[0]}')

    i = 0
    with open(file, 'r', encoding='utf-8') as f:

        for url in f:
            print(url)
            if url == None:
                continue

            if "data:image/jpeg" in url:
                # 注意需要删去前端描述字符
                url = url.split(',')[1]
                print(url)
                img = base64.b64decode(url)
                fh = open(os.path.join(f'{path1}/{file.title().split(".")[0]}', str(i) + '.jpg'), "wb")
                fh.write(img)
                fh.close()
                i += 1
                continue

            i += 1
            proxy = {
                "http": "http://127.0.0.1:10809",
                "https": "http://127.0.0.1:10809"
            }

            # proxy = proxy_random()
            response = requests.get(url=url, headers=headers, proxies=proxy, verify=False)

            with open(os.path.join(f'{path1}/{file.title().split(".")[0]}', str(i) + '.jpg'), "wb") as f1:
                f1.write(response.content)
            f1.close()
            # 每爬取一张图片暂停一秒防止ip被封
            sleep(0.25)

    f.close()

3.完整代码及爬取结果

import requests
import os
import linecache
import random
import time
from time import sleep
import base64
from threading import Thread

def multi_thread(content):
    print("multi_thread begin")
    threads = []
    # 创建多线程
    for i in range(25):
        threads.append(
            Thread(target=getpicture,args=("".join(content[i]),))
        )

    for thread in threads:
        thread.start()

    for thread in threads:
        thread.join()
    print("multi_thread end")


# 获取随机代理ip
def proxy_random():
    a = random.randrange(1,150)
    # 从文件1.txt中对读取第a行的数据
    proxy = linecache.getline(r'C:\Users\HP\PycharmProjects\untitled\Requests\1.txt',a).rstrip('\n')
    proxies = {
                "http": "http://" + proxy,
                "https": "http://" + proxy,
    }
    print(proxies)
    return proxies

# 下载图片并保存到各个文件夹下
def getpicture(file):
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36",
        'Referer': 'https://www.google.com/'
    }

    count = len(open(file, 'r').readlines())
    print(count)

    # 判断以关键字命名的文件夹是否存在，若不存在则创建文件夹
    if file not in os.listdir(path1):
        # print(file.title().split('.')[0])
        os.makedirs(f'{path1}/{file.title().split(".")[0]}')

    i = 0
    with open(file, 'r', encoding='utf-8') as f:

        for url in f:
            print(url)
            if url == None:
                continue

            if "data:image/jpeg" in url:
                # 注意需要删去前端描述字符
                url = url.split(',')[1]
                print(url)
                img = base64.b64decode(url)
                fh = open(os.path.join(f'{path1}/{file.title().split(".")[0]}', str(i) + '.jpg'), "wb")
                fh.write(img)
                fh.close()
                i += 1
                continue

            i += 1
            proxy = {
                "http": "http://127.0.0.1:10809",
                "https": "http://127.0.0.1:10809"
            }

            # proxy = proxy_random()
            response = requests.get(url=url, headers=headers, proxies=proxy, verify=False)

            with open(os.path.join(f'{path1}/{file.title().split(".")[0]}', str(i) + '.jpg'), "wb") as f1:
                f1.write(response.content)
            f1.close()
            # 每爬取一张图片暂停一秒防止ip被封
            sleep(0.25)

    f.close()

if __name__ == '__main__':

    # 读取文件夹下txt文件
    path = r"C:\Users\HP\PycharmProjects\untitled\Selenium\WeekTask"
    path1 = r"C:\Users\HP\PycharmProjects\untitled\Selenium\WeekTask\图库"

    files = os.listdir(path)
    print(files)
    txt_files = list(filter(lambda x: x[-4:] == '.txt', files))
    print(txt_files)
    # 测试一个数据集
    # getpicture(txt_files[0])
    start = time.time()
    multi_thread(txt_files)
    end = time.time()
    print("cost:", end - start)

最终结果如下：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述


总结

以上就是今天要讲的内容，本文通过selenium和requests爬取大量浏览器图片，需要注意的重点是，浏览器图片下拉的操作需要时间加载，所以用selenium模拟下拉操作非常重要。以及url和浏览器缓存图片的区别。

haerxiluo
关注
专栏目录
selenium+chrome多线程爬取多个网站信息
lulasdjkhalkjd的博客
06-06 5648
本文创建sqlserver数据库连接池，从数据库读取相关网站配置。下图为各个网址的数据标签定位配置： 2. 获得配置之后，创建多线程。从配置文件中读取配置后， 下图为创建多线程（threading）： 3. 接下来使用selenium+chromedriver调用浏览器，使用beautifuisoup解析页面爬取动态页面数据： 最后展示全部代码： import pyodbc import p...
Python-Selenium Webdriver+google chrome浏览器爬取中国知网的文献概述
weixin_37806591的博客
01-14 1977
Python-Selenium Webdriver+google chrome浏览器爬取中国知网的文献概述 目录Python-Selenium Webdriver+google chrome浏览器爬取中国知网的文献概述前言一、使用webdriver的注意事项二、开始码代码1.引入库&总体思路2.检索部分3.文献url批量爬取4.文献详情爬取+excel保存总结完整代码参考内容 前言 小白的第一篇文章！最近假期写专利需要参考知网所有相关专利文献，一篇篇点进去看实在太慢了。。一气之下就写了个pytho
Facebook多线程爬虫（python+selenium）
04-02
用python+selenium可多线程爬取Facebook上视频数据，提供关键词，自动打开网页搜索关键词，并依次读取该关键词对应的所有视频的标题、地址、日期、播放量、点赞数、评论数、分享数、视频商品链接bit.ly点击量、是否有去逛逛和视频时长。读取到的数据存放在excel里，一个关键词一个excel表。
python爬图一篇过（一）【超·详细】：selenium库：webdriver环境配置+新手基础知识
qq_53021454的博客
09-29 2068
前言： 一个月前，博主在学过python（一年前）、会一点网络（能按F12）的情况下，凭着一腔编程改变世界的热血和对把电脑变成工具人的兴趣，开始了python爬虫的学习。一路过来可以说走了相当多弯路，但是前不久终于成功！！！（泪目）所以今天萌新我第一次斗胆在CSDN上开一个栏目，分享我的python图片爬虫全实现过程，内心真的激动！！！希望过路大神能多多指教和鼓励，写得不对的地方请直接指出！ 老规矩上第一章的思维导图 所谓之所以要基于selenium库爬虫，是因为现在网...
如何在多个线程中运行`selenium-chromedriver`
最新发布
wangbadan121的专栏
08-02 414
然后下载并放置合适的ChromeDriver版本到你的系统中，路径通常为：`/usr/local/bin` 或 `C:\Users\<username>\AppData\Local\Google\Chrome Selenium Webdriver`。如果你的应用需要处理大量的文本数据，并且希望利用人工智能技术来提高效率，可以考虑将每个浏览器实例的任务分配给不同的大模型线程。- 在多线程环境下，为了保证资源的有效管理，每个线程应该独立地初始化和使用WebDriver实例。1. 将网页内容发送给每个模型线程。
python爬虫入门：批量爬取网站图片并保存
m0_74942241的博客
02-06 6098
通过爬虫技术对图片进行批量爬取可以说是我们必备的爬虫技巧之一，网络爬虫也叫做网络机器人，可以代替人们自动地在互联网中进行数据信息的采集与整理。在大数据时代，信息的采集是一项重要的工作，如果单纯靠人力进行信息采集，不仅低效繁琐，搜集的成本也会提高。这里先对要运用的第三方库进行安装。本文选取的函数库主要为requests、lxml、etree。打开anaconda prompt，这是anaconda的交互界面，很多指令在该界面直接输入，便可直接下载众多函数库。
Selenium批量自动化获取并下载图片
萧鼎的博客
01-21 1857
下载WebDriver：Selenium需要与WebDriver配合使用，WebDriver是一个浏览器驱动，用于执行浏览器操作。例如，如果你使用的是Chrome，你需要下载ChromeDriver。图片大小和分辨率：在下载图片时，你可能需要调整图片的大小和分辨率以满足你的需求。在这种情况下，你需要处理浏览器的同源策略限制。导入必要的库：在Python脚本中，你需要导入Selenium的库以及用于处理图片的库（如PIL）。下载图片：对于每个找到的图片元素，提取其src属性，然后使用PIL库下载图片。
python+selenium多线程与多进程爬虫
热门推荐
broccoli2的博客
12-01 1万+
使用python+selenium抓取深圳证券交易所本所公告数据，刚开始是用单进程爬取的，最近将代码修改了一下，分别用多进程和多线程进行抓取，速度非常快。如果对selenium不了解的请移步别的地方学习一下。 多进程爬取 # coding=utf-8 ''' 多进程抓取深圳证券交易所本所公告数据 标题和公告内容写入了不同的csv文件里 Author:西兰 Date：2019-11-30 ''' ...
python使用动态代理ip多线程爬取QQ空间相册
12-23
本教程将深入探讨如何利用Python实现动态代理IP、多线程以及Selenium库来爬取QQ空间相册中的图片。首先，我们需要理解每个标签背后的含义。 1. **Python爬虫**：Python因其丰富的库支持，成为爬虫开发的首选语言。...
Google 图片搜索【无限制】批量爬取工具
05-02
【标题】"Google 图片搜索【无限制】批量爬取工具"所涉及的知识点主要集中在Python编程、网络爬虫技术和多线程处理上。这款工具能够高效地从Google图片搜索中下载大量图片，不受常规限制。 首先，我们需要了解...
python爬虫_爬取百度图片.zip
10-14
可以批量处理链接，使用多线程或异步IO（如`asyncio`库）来提高并发下载能力。同时，为了保存大量图片，可能需要设计数据库存储方案，例如使用`sqlite3`或连接MySQL等数据库。 在实际操作中，还应注意版权和道德...
python selenium chrome 多开 多线程
08-08
phantomjs.exe，chromedriver.exe文件改个名字 填上绝对路径 就可以打开多个浏览器对象 .包含 phantomjs.exe，chromedriver.exe 和示例
爬虫实战练习之网站图片批量下载
总结并练习计算机技术
02-14 1537
总结实战中出现的错误和一些难点操作，以便大家更好的学习进步
python+Selenium多线程后台爬虫例子
wg2627的博客
10-18 2255
Selenium多线程后台爬虫
记录成功用selenium爬取百度图片
m0_49525050的博客
06-02 1546
在VS中用selenium爬取百度图片 忘了爬取动态图片花了多长时间了，现在终于成功爬取百度图片了，从安装selenium开始，出了好多bug，也参考了一些up主的视频代码，现在终于成功了，但这只是最最基本，简单的，但有了这个基础，我想其他的要求再努力很快就能出来，现在我就将我从配置过程一步一步讲起。 1、配置各类环境 1）在window系统找到“命令指示符”，在框内输入"pip install selenium",按回车键，就可以开始下载selenium了（这种方法速度应该比较慢，但我觉得方便，下载安装包
利用Selenium轻松实现网页截图功能
OKCRoss的博客
02-27 1084
将上述代码复制到Python文件中，替换url_to_capture和screenshot_output_file为你想要的目标网址和截图存放位置，然后运行程序。2. ChromeDriver：根据你的本地Chrome浏览器版本下载对应的ChromeDriver，并将其路径添加到系统环境变量中。】的朋友来说应该是最全面最完整的备战仓库，这个仓库也陪伴上万个测试工程师们走过最艰难的路程，希望也能帮助到你!webdriver.Chrome() 初始化一个Chrome浏览器实例，并加载前面创建的配置项。
Windows环境下基于python3 + selenium构建网络爬虫
qy20115549的博客
11-06 539
文章目录安装selenium下载响应的driver构建爬虫工程 安装selenium 由于我的Windows系统上安装的Anaconda，且包含两个版本python2和python3。因此，首先我使用cmd(命令行)切换到我需要使用的python3。切换的命令如下： activate py3 接着，使用下面的命令下载selenium： pip install -U selenium 下载过程即...
【Selenium】提高测试&爬虫效率：Selenium与多线程的完美结合
苟日新，日日新，又日新!!!
06-01 7847
本文章介绍了 Selenium + threading 和 Selenium + ThreadPoolExecutor 结合来创建多个浏览器或多个标签页的操作。提供代码模板，拿来即用
建议收藏！超详细的selenium爬虫使用教程！你想知道的都在这里！
大模型研究中心
09-22 1万+
在我们深入探讨Selenium的多个方面之后，很重要的一点是认识到，像所有工具一样，Selenium在使用时需要遵循一些基本的注意事项和最佳实践。此外，网页抓取和自动化不仅受到技术限制，还受到法律和道德的约束。注意事项与最佳实践尊重Robots.txt: 大多数网站都有一个robots.txt文件，其中指定了哪些页面可以爬取，哪些不可以。尽管Selenium不像其他爬虫库那样自动遵循它，但你仍应当遵守其规定。不过度请求: 大量的快速连续请求可能会导致服务器过载，甚至可能导致你的IP被封锁。
使用selenium多线程和异步爬取，哪个效率更高
09-10
总的来说，Selenium具有多线程和异步爬取的优势，可以提高爬取效率，但在使用时需要注意合理设置等待时间、使用代理IP等。 ### 回答2： 使用selenium多线程和异步爬取的效率取决于具体情况和使用的方式。 在一些...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值