上次刚刚用webdriver拔取了最近看的小说,并下载到了本地,但是心里并不满足,于是就想下载笑话网站上的图片,由于自动化测试用的selenium库里的webdriver能比较准确的定位元素,并且获取元素的属性,
webdriver定位元素:http://blog.csdn.net/ccggaag/article/details/72829629
webdriver获取元素属性:driver.get_attribute("元素标签的属性字段")
并且webdriver可以获取到一组符合条件的数据,正好可以定位这一页的所有符合条件的元素,这样我可以通过定位所有的img标签来获取所有图片的地址属性src,但是我有下载地址了,怎么下载呢,我最近接触到了正统的爬虫库,正好有一个方法可以通过url地址来下载文件到本地,所以我就基于webdriver和urllib这两个库来下载图片啦。
一:准备工作
首先,我要安装好webdriver,
点我配置webdriver。然后呢,要引入一个库:urllib,所以我们在cmd的命令行中通过pip来导入
pip install urllib
然后我们主要是通过urlretrieve()方法传入下载地址和保存地址,然后就能把图片保存在本地啦,所以思路明确了,实现起来就好办了
二:代码做到的功能介绍
我的代码主要实现了哈哈网图片的下载,并且把JPG和GIF图片分别保存
,并把宝贵的图片地址资源用日志记录下来,这样以后可以直接通过图片地址来下载图片了
三:代码实现
log.py封装好的日志模块,到时候直接导入引用就好了
import logging
import sys
def logger():
""" 获取logger"""
logger = logging.getLogger()
if not logger.handlers:
# 指定logger输出格式
formatter = logging.Formatter('%(asctime)s %(levelname)-8s: %(message)s')
# 文件日志
file_handler = logging.FileHandler("haha.log")
file_handler.setFormatter(formatter) # 可以通过setFormatter指定输出格式
# 控制台日志
console_handler = logging.StreamHandler(sys.stdout)
console_handler.formatter = formatter # 也可以直接给formatter赋值
# 为logger添加的日志处理器
logger.addHandler(file_handler)
logger.addHandler(console_handler)
# 指定日志的最低输出级别,默认为WARN级别
logger.setLevel(logging.INFO)
return logger
然后就是实现下载的模块了,hahaDemo.py
from selenium import webdriver
import time
from urllib.request import urlretrieve
import logs
if __name__ == "__main__":
driver =webdriver.Chrome()
log = logs.logger()
gifNumber=0
jpgn=0
png=0
pages = 0
while pages <5102:#这个5102是看你具体图片有多少页,我懒得写获取总页数的方法了,直接写数字
try:
url = "http://www.haha.mx/pic/new/%s"%pages
print(url)
driver.get(url)
time.sleep(5)
pages=pages+1
eles = driver.find_elements_by_tag_name("img")
for i in eles:
if str(i.get_attribute("src")).find("gif")!=-1:#判断地址中是否包含gif字段
imgUrl = str(i.get_attribute("src"))
name =str(i.get_attribute("alt"))
log.info(imgUrl)
urlretrieve(imgUrl,'img/gif/%s.gif' %(str(gifNumber)+name))
gifNumber=gifNumber+1
print("第%s张gif图片"%gifNumber)
elif str(i.get_attribute("src")).find("jpg")!=-1::#判断地址中是否包含jpg字段
imgUrl = str(i.get_attribute("src"))
name =str(i.get_attribute("alt"))
log.info(imgUrl)
urlretrieve(imgUrl,'img/jpg/%s.jpg' %(str(jpgn)+name) )
jpgn=jpgn+1
print("第%s张jpg图片"%jpgn)
else:
log.info("wrong")
except :
print(Exception)
driver.get(url)
注意啊,我创建了一个img的文件夹,里面分别有jpg和gif的子文件夹用来保存数据,并且,,,
记得你的硬盘要足够大!!!!!!全部保存完要100G以上