原文首发于CSDN,略有增删
使用 Python + Selenium 批量下载素材
本文简单介绍使用 Python + Selenium 从ManyPixels线上图库批量下载素材的方法。截止到现在(2020/3/13),ManyPixels 上一共有 19 页的插图素材, 437 个文件。手工点击逐个下载是很不实际的,手指都可能点断,有必要使用代码实现程序自动批量下载。
ManyPixels 线上图库
ManyPixels,是一个免费线上图库,主要以收录插图素材为主。插图还可以自定义颜色。提供 PNG,SVG 格式下载。根据许可,ManyPixels 发布于此插图图库的所有素材皆可免费使用,无论是用于非商业或商业用途,无需向创作者或原发布商获得许可,下载后的插图可自由修改、编辑或复制。
ManyPixels Illustration Gallery.png
Selenium
Selenium 是一个用于 Web 应用程序测试的工具。支持多平台:windows、linux、MAC ,支持多浏览器:ie、ff、safari、opera、chrome,多语言 C、 java、ruby、python、或者是 C#。「Selenium 测试直接运行在浏览器中,就像真正的用户在操作一样」。嗯,看中的就是:
就像真正的用户在操作一样
初看「批量下载」应该是一个爬虫任务,但为什么要用一个测试工具呢?因为通过右键查看 ManyPixels 的源码和普通的页面很不一样,根本看不到图片的标签。这就不能用传统的urllib.request或者是Scrapy了。在这里我不需要效率,只作为业余使用的工具,怎么方便怎么来,也懒得去深入urllib.request或者是Scrapy,就像用户去一个一个图片点击下载一样,那就是 Selenium 了。要在 Python 中使用 Selenium,先通过pip安装:pip install selenium,然后还得配合chromedriver才能使用(如果是 Chrome 浏览器),而且得是对应的版本。
2020/3/14 更新,为方便 selenium 初学者使用,特上传到 CSDN 资源供各位下载,版本为 chromedriver win32,匹配最新的 Chrome81,下载地址为:https://download.csdn.net/download/chenbingcai/12247260
代码实现
因为我的工作语言不是 Python,作为工具,可能有点乱,完全不是Pythonic,这里只是提供一种思路。代码在运行中出现了以下几个问题,经调试在我本机环境上可成功运行。在这里我是下载 SVG 版本,而不是 PNG 版本,因为 SVG 在后期还可以通过svg-inject等 JS 库在网页中动态修改。
ssl_client_socket_impl.cc(941)] handshake failed
解决办法:ChromeOptions添加一个参数:opt.add_argument('--ignore-certificate-errors')
HTML 元素无法执行click事件
解决办法:通过 JS 选择这个元素,然后执行这段 JS,driver.execute_script(js)
gcm_channel_status_request.cc(145) GCM channel request failed
解决办法:这个错误暂时无法解决,但并不影响本次运行功能。
no such element
解决办法:可能是元素的xpath不正确,或页面没加载完成。在 Chrome 开发者工具中选中元素,右键Copy XPath;等待页面加载完成,until(),在这里我偷懒,简单粗暴的用了time.sleep(),不可取。这里通通清一式用find_element_by_xpath()可能也不是一个好的方法,只是目前刚好能成功运行。另外,判断元素是否存在,我是用了try except实现,或者还有更好的方法吧。
最后,抛砖引玉,以下是本功能的全部代码:
# -*- coding: utf-8 -*-
from selenium import webdriver
import time
import random
def sleep_by_time(seconds=3):
sleep_time=random.random()*seconds
time.sleep(sleep_time)
def download_SVG(xpath,driver):
driver.find_element_by_xpath(xpath).click()
def save_SVG():
opt = webdriver.ChromeOptions()
opt.add_argument('--ignore-certificate-errors')
driver = webdriver.Chrome(options=opt)
driver.maximize_window()
driver.implicitly_wait(30)
driver.get('https://www.manypixels.co/gallery/')
page_count = int(driver.find_element_by_xpath('//*[@id="body"]/div[1]/div/div[2]/ul/li[last()-1]').text) + 1
for i in range(1,page_count):
js = 'document.querySelector("#body > div.style__ContainerIllustrations-sc-1olxldb-2.irWJZG > div > div.style__ContainerGallery-sc-3zib4p-1.bdbuba > div.style__Container-sc-3zib4p-0.iYHiIc > div:nth-child(1)").click()'
driver.execute_script(js)
sleep_by_time()
j = 0
while True:
j = j+1
download_SVG('//*[@id="body"]/div[1]/div/div[1]/div[2]/div[2]/button[1]',driver)
if j == 1:
next_span = driver.find_element_by_xpath('//*[@id="body"]/div[1]/div/div[1]/div[2]/div[3]/span')
else:
try:
next_span = driver.find_element_by_xpath('//*[@id="body"]/div[1]/div/div[1]/div[2]/div[4]/span')
except :
driver.find_element_by_xpath('//*[@id="body"]/div[1]/div/div[1]/div[2]/div[1]/span').click()
break
next_span.click()
sleep_by_time(5)
# 下一页
try:
driver.find_element_by_xpath('//*[@id="body"]/div[1]/div/div[2]/ul/li[last()]').click()
except:
break
sleep_by_time()
driver.close()