Selenium爬取漫画网站保存快照
一.目标网站分析
目标网站:漫画台
目标漫画:斗罗大陆:http://www.manhuatai.com/douluodalu/1.html
目标数据:网站的漫画部分
网站分析:
通过网址我们发现:每一章网址后缀数字不一样。第二章为*.2.html
以此类推。
selenium 可以模拟浏览器操作。我们只要模拟点击下一页按钮就可以翻页前提是读取方式为”单机翻页”如上图标注所示
我们需要做的就是定位到下一页这个标签!
二.关键数据获取
1.拼接url获取每一章的网址存到数组urls中,测试用所以只爬取几页
#获取urls
def getUrls(self):
urls=[]
for i in range(1,3):
url='http://www.manhuatai.com/douluodalu/'+str(i)+'.html'
urls.append(url)
self.log.debug('----待爬取的地址有:' + url)
return urls
2.初始化浏览器
#初始化浏览器
def getBrowser(self,urls):
browser = webdriver.PhantomJS()
#循环获取每一个url
for url in urls:
try:
browser.get(url)
except:
mylog.error('open the %s failed' %url)
browser.implicitly_wait(1)
return browser
3.创建文件夹存取每一章的图片,文件夹名通过xpath定位title获取
#创建目录
def createDir(self, dirName):
if os.path.exists(dirName):
self.log.error('create directory %s failed, hava a same name file or directory' %dirName)
else:
try:
os.makedirs(dirName)
except:
self.log.error('create directory %s failed' %dirName)
else:
self.log.info('create directory %s success' %dirName)
#文件夹名
cartoonTitle = browser.find_element_by_xpath('/html/body/div[2]/div[1]/h1/strong').text#取标题
4.保存图片
selenium提供了方法,但是这是截取的网页全屏,并不是我们所需要的,我们只想要漫画部分怎么办?
截取全屏:
browser.get_screenshot_as_file(imgName)#截全屏
这里我们要用到另外一个模块 Pillow,他是python的一个图像处理库 个人感觉类似于ps这样的软件,功能丰富,使用简单,具体详细用法大家看下api未安装记得安装.Pillow中最重要的类就是Image。接下来我们直接使用。
1.要想只截取漫画部分,要先定位漫画部分位置。
imgelement = browser.find_element_by_xpath('//*[@id="comiclist"]/div[1]/img')
2.获取定位部分大小
location = imgelement.location # 获取漫画图片部分的x,y轴坐标
size = imgelement.size # 获取漫画图片部分的长宽
3.使用Image的crop函数,从截图中再次截取我们需要的区域并保存(不知道为什么获取的图片尺寸有偏差所以我调整了下宽高)
cutrange = (int(location['x']), int(location['y']), int(location['x'] + size['width']+500),
int(location['y'] + size['height']+766))
ii = Image.open(imgName) # 打开截图
newimg = ii.crop(cutrange) # 使用Image的crop函数,从截图中再次截取我们需要的区域
newimg.save(imgName)#保存新图片
4.换页保存
还是得定位下一页的标签位置
NextTag = browser.find_element_by_xpath('/html/body/div[4]/div[3]/span[2]')#下一页
NextTag.click()#点击事件
大致的流程就是这样子了。
三.结果及源码
结果:
2.源码
爬虫类:
#!/usr/bin/evn python
#-*- coding: utf-8 -*-
from selenium import webdriver
from MyLog import MyLog as mylog
from PIL import Image
import os
import time
class GetCartoon(object):
def __init__(self):
self.log = mylog()
self.urls = []
self.startUrl=self.getUrls() #获取urls
self.browser = self.getBrowser(self.startUrl)
self.saveCartoon(self.browser)
self.browser.quit()
#获取urls
def getUrls(self):
urls=[]
for i in range(1,3):
url='http://www.manhuatai.com/douluodalu/'+str(i)+'.html'
urls.append(url)
self.log.debug('----待爬取的地址有:' + url)
return urls
#初始化浏览器
def getBrowser(self,urls):
browser = webdriver.PhantomJS()
#循环获取每一个url
for url in urls:
try:
browser.get(url)
except:
mylog.error('open the %s failed' %url)
browser.implicitly_wait(1)
return browser
# 保存图片
def saveCartoon(self, browser):
cartoonTitle = browser.find_element_by_xpath('/html/body/div[2]/div[1]/h1/strong').text#取标题
self.createDir(cartoonTitle) #根据标题创建保存目录
os.chdir(cartoonTitle) #切换到当前目录进行保存图片
sumPage = int(self.browser.find_element_by_xpath('/html/body/div[4]/div[3]/select/option[last()]').get_attribute('value'))#取总页数
self.log.info('%s pages ' %str(sumPage))
i = 1
while i<=sumPage:
imgName = str(i) + '.png'
browser.get_screenshot_as_file(imgName)#截全屏
# 定位漫画部分
imgelement = browser.find_element_by_xpath('//*[@id="comiclist"]/div[1]/img')
location = imgelement.location # 获取漫画图片部分的x,y轴坐标
size = imgelement.size # 获取漫画图片部分的长宽
cutrange = (int(location['x']), int(location['y']), int(location['x'] + size['width']+500),
int(location['y'] + size['height']+766))
ii = Image.open(imgName) # 打开截图
newimg = ii.crop(cutrange) # 使用Image的crop函数,从截图中再次截取我们需要的区域
newimg.save(imgName)
self.log.info('save img %s' %imgName)
i=i+1
NextTag = browser.find_element_by_xpath('/html/body/div[4]/div[3]/span[2]')#下一页
NextTag.click()#点击事件
time.sleep(5)
self.log.info('save img sccess')
#创建目录
def createDir(self, dirName):
if os.path.exists(dirName):
self.log.error('create directory %s failed, hava a same name file or directory' %dirName)
else:
try:
os.makedirs(dirName)
except:
self.log.error('create directory %s failed' %dirName)
else:
self.log.info('create directory %s success' %dirName)
if __name__ == '__main__':
GC = GetCartoon()
2.日志类
测试类这里不写了等下文章变得又臭又长,大家可以去我的其他文章中找。
四.总结
selenium是一个非常好用的自动化测试工具,更多的功能等着大家自己去发现。我们一般用他进行动态网页爬取,自动化测试,在今天的例子中我们还用另一个处理图片的库“Pillow”(PIL),他的功能也很丰富,在后面的例子我们会用selenium模拟登陆,会用pillow处理验证码,结合tesseract做识别然后模拟登陆,敬请期待。