Selenium+PhantomJS()+PIL漫画快照

Selenium爬取漫画网站保存快照

一.目标网站分析

目标网站:漫画台
目标漫画:斗罗大陆:http://www.manhuatai.com/douluodalu/1.html
目标数据:网站的漫画部分
网站分析:

通过网址我们发现:每一章网址后缀数字不一样。第二章为*.2.html
以此类推。
selenium 可以模拟浏览器操作。我们只要模拟点击下一页按钮就可以翻页前提是读取方式为”单机翻页”如上图标注所示

我们需要做的就是定位到下一页这个标签！

二.关键数据获取
1.拼接url获取每一章的网址存到数组urls中，测试用所以只爬取几页

#获取urls
    def getUrls(self):
        urls=[]
        for i in range(1,3):
            url='http://www.manhuatai.com/douluodalu/'+str(i)+'.html'
            urls.append(url)
            self.log.debug('----待爬取的地址有:' + url)
        return urls

2.初始化浏览器

 #初始化浏览器
    def getBrowser(self,urls):
        browser = webdriver.PhantomJS()
        #循环获取每一个url
        for url in urls:
            try:
                browser.get(url)
            except:
                mylog.error('open the %s failed' %url)
            browser.implicitly_wait(1)
        return browser

3.创建文件夹存取每一章的图片，文件夹名通过xpath定位title获取

#创建目录
    def createDir(self, dirName):
        if os.path.exists(dirName):
            self.log.error('create directory %s failed, hava a same name file or directory' %dirName)
        else:
            try:
                os.makedirs(dirName)
            except:
                self.log.error('create directory %s failed' %dirName)
            else:
                self.log.info('create directory %s success' %dirName)

#文件夹名
cartoonTitle = browser.find_element_by_xpath('/html/body/div[2]/div[1]/h1/strong').text#取标题

4.保存图片
selenium提供了方法，但是这是截取的网页全屏，并不是我们所需要的，我们只想要漫画部分怎么办？
截取全屏:

browser.get_screenshot_as_file(imgName)#截全屏

这里我们要用到另外一个模块 Pillow，他是python的一个图像处理库 个人感觉类似于ps这样的软件，功能丰富，使用简单，具体详细用法大家看下api未安装记得安装.Pillow中最重要的类就是Image。接下来我们直接使用。
1.要想只截取漫画部分，要先定位漫画部分位置。

imgelement = browser.find_element_by_xpath('//*[@id="comiclist"]/div[1]/img')

2.获取定位部分大小

location = imgelement.location  # 获取漫画图片部分的x,y轴坐标
size = imgelement.size  # 获取漫画图片部分的长宽

3.使用Image的crop函数，从截图中再次截取我们需要的区域并保存(不知道为什么获取的图片尺寸有偏差所以我调整了下宽高)

cutrange = (int(location['x']), int(location['y']), int(location['x'] + size['width']+500),
                        int(location['y'] + size['height']+766))
ii = Image.open(imgName)  # 打开截图
newimg = ii.crop(cutrange)  # 使用Image的crop函数，从截图中再次截取我们需要的区域
newimg.save(imgName)#保存新图片

4.换页保存
还是得定位下一页的标签位置

NextTag = browser.find_element_by_xpath('/html/body/div[4]/div[3]/span[2]')#下一页
NextTag.click()#点击事件

大致的流程就是这样子了。

三.结果及源码

结果:

2.源码
爬虫类：

#!/usr/bin/evn python
#-*- coding: utf-8 -*-

from selenium import webdriver
from MyLog import MyLog as mylog
from PIL import Image
import os
import time


class GetCartoon(object):
    def __init__(self):
        self.log = mylog()
        self.urls = []
        self.startUrl=self.getUrls() #获取urls
        self.browser = self.getBrowser(self.startUrl)
        self.saveCartoon(self.browser)
        self.browser.quit()

    #获取urls
    def getUrls(self):
        urls=[]
        for i in range(1,3):
            url='http://www.manhuatai.com/douluodalu/'+str(i)+'.html'
            urls.append(url)
            self.log.debug('----待爬取的地址有:' + url)
        return urls

    #初始化浏览器
    def getBrowser(self,urls):
        browser = webdriver.PhantomJS()
        #循环获取每一个url
        for url in urls:
            try:
                browser.get(url)
            except:
                mylog.error('open the %s failed' %url)
            browser.implicitly_wait(1)
        return browser

    # 保存图片
    def saveCartoon(self, browser):
        cartoonTitle = browser.find_element_by_xpath('/html/body/div[2]/div[1]/h1/strong').text#取标题
        self.createDir(cartoonTitle)    #根据标题创建保存目录
        os.chdir(cartoonTitle)          #切换到当前目录进行保存图片
        sumPage = int(self.browser.find_element_by_xpath('/html/body/div[4]/div[3]/select/option[last()]').get_attribute('value'))#取总页数
        self.log.info('%s pages ' %str(sumPage))
        i = 1
        while i<=sumPage:
            imgName = str(i) + '.png'
            browser.get_screenshot_as_file(imgName)#截全屏
            # 定位漫画部分
            imgelement = browser.find_element_by_xpath('//*[@id="comiclist"]/div[1]/img')
            location = imgelement.location  # 获取漫画图片部分的x,y轴坐标
            size = imgelement.size  # 获取漫画图片部分的长宽
            cutrange = (int(location['x']), int(location['y']), int(location['x'] + size['width']+500),
                        int(location['y'] + size['height']+766))
            ii = Image.open(imgName)  # 打开截图
            newimg = ii.crop(cutrange)  # 使用Image的crop函数，从截图中再次截取我们需要的区域
            newimg.save(imgName)
            self.log.info('save img %s' %imgName)
            i=i+1
            NextTag = browser.find_element_by_xpath('/html/body/div[4]/div[3]/span[2]')#下一页
            NextTag.click()#点击事件
            time.sleep(5)
        self.log.info('save img sccess')


    #创建目录
    def createDir(self, dirName):
        if os.path.exists(dirName):
            self.log.error('create directory %s failed, hava a same name file or directory' %dirName)
        else:
            try:
                os.makedirs(dirName)
            except:
                self.log.error('create directory %s failed' %dirName)
            else:
                self.log.info('create directory %s success' %dirName)


if __name__ == '__main__':
    GC = GetCartoon()

2.日志类
测试类这里不写了等下文章变得又臭又长，大家可以去我的其他文章中找。

四.总结
selenium是一个非常好用的自动化测试工具，更多的功能等着大家自己去发现。我们一般用他进行动态网页爬取，自动化测试，在今天的例子中我们还用另一个处理图片的库“Pillow”(PIL)，他的功能也很丰富，在后面的例子我们会用selenium模拟登陆，会用pillow处理验证码，结合tesseract做识别然后模拟登陆，敬请期待。