多线程爬虫——爬取Bing画廊

http://www.bing.com/gallery/ 里搜集了Bing首页的近5年的壁纸大图，大部分是1920x1200的。

右侧就是Bing的壁纸，大多数是1920x1200的大图，少部分没有大图。

对这个网站的爬取有一点难度。这个页面用js语句锁死了右侧图片栏的右键菜单，所以只能通过左侧打开chrome的元素菜单，然后再取得图片缩略图的地址。

图片缩略图的地址通常为一串以640x320.jpg或320x180.jpg结尾的url，点击图片后可以点击右下角的下载按钮，从而找到大图的真实地址，即将缩略图中地址的“640x320“或”320x180”换成“1920x1200”即可，一个简单的字符串替换即可。

然后……爬虫三件套出场：python+selenium+phantomjs/chromedriver，首先使用selenium检查出缩略图的图片元素，再提取出src属性值，得到缩略图地址；将缩略图地址进行字符串替换，得到真实的壁纸地址，最后把这些图片都下回来就好。

该网站的图片采用动态加载，因此在程序中还需要使用js语句控制滚动条的下拉操作，待缩略图加载完成后，再取得地址。

源代码如下：

# -*- coding=utf-8 -*-
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import WebDriverWait
from  selenium.webdriver import ActionChains
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.support import expected_conditions as EC
import time,sys,re,urllib2,urllib,cookielib,datetime,requests
import threading


CHROMEDRIVER_PATH='D:\\WebDrivers\\chromedriver_win32\\chromedriver.exe'
PHANTOMJS_PATH='D:\\WebDrivers\\phantomjs\\bin\\phantomjs.exe'
class BingWorm:
    url=""
    driver=None
    pictures=[]
    dates=[]
    url_list=[]
    sub_url_list=[]
    threads=[]
    thread_count=1
    def __init__(self):
        self.url="http://www.bing.com/gallery/"
        self.driver=webdriver.PhantomJS(executable_path=PHANTOMJS_PATH)
        #self.driver=webdriver.Chrome(executable_path=CHROMEDRIVER_PATH)

    def GetTodayPicture(self):
        pic_url="http://cn.bing.com/"
        wb_data=requests.get(pic_url)
        pic_pattern=re.compile(r'http://.*?bing\..*?1080.jpg')
        pic_address=pic_pattern.search(wb_data.text).group()
        filename_pattern=re.compile(r'rb/.*?\.jpg')
        filename=filename_pattern.search(pic_address).group()[4:]
        urllib.urlretrieve(pic_address,'D:\\TestData\\BingToday\\'+str(filename))
        print "今日图片下载完成。"

    def GetPictures(self):#获取图片地址
        self.driver.get(self.url)
        js = "document.body.scrollTop=document.body.scrollHeight"
        for i in range(0,10):
            self.driver.execute_script(js)
            time.sleep(1)
        time.sleep(3)
        self.pictures=self.driver.find_elements_by_class_name("tileBg")
        print "请稍后……"
        for picture in self.pictures:
            urls=str(picture.get_attribute("src")).replace("640x360","1920x1200").replace("320x180", "1920x1200")
            self.url_list.append(urls)
        self.driver.close()
    def TaskArrange(self,n):#n为线程数
        self.thread_count=n
        task_list_count=len(self.url_list)/self.thread_count
        for i in range(0,len(self.url_list),task_list_count):
            self.sub_url_list.append(self.url_list[i:i+task_list_count])
        #print self.sub_url_list
    def DownLoadPic(self,piclist):
        for picurl in piclist:
            filename_pattern=re.compile(r'files/.*?\.jpg')
            picname=filename_pattern.search(picurl).group()[6:]
            urllib.urlretrieve(picurl,"D:\\TestData\\Bing\\"+str(picname)+".jpg")
            print str(picname)+"下载完成。"

    def DownLoad(self):
        for i in range(0,len(self.sub_url_list)):
            self.threads.append(threading.Thread(target=self.DownLoadPic,args=(self.sub_url_list[i],)))
        for t in self.threads:
            t.start()
if __name__=="__main__":
    worm=BingWorm()
    #worm.GetTodayPicture()
    worm.GetPictures()
    worm.TaskArrange(10)
    worm.DownLoad()
    exit()

其中，GetTodayPicture函数可以单独使用，单独从Bing首页上获得当天的壁纸。与Bing/Gallery网站上的壁纸相比，首页壁纸的最大特点就是没有Bing的水印。

其中，GetPictures函数将取得的大图地址全部放在url_list中，以便TaskArrange函数将其切割成线程的任务list。TaskArrange函数将url_list根据线程数平均切割，将切割结果存储于sub_url_list中，这样sub_url_list为包含有list的list，在其中存储了每个线程的任务url；DownLoadPic(list)函数意为将list中的所有图片全部下回来。因此，在DownLoad中可以根据sub_url_list建立线程，让每个线程分别去下载sub_url_list的子list的图片，最终将图片下载回来。

在循环下拉滚动条10次后，得到的图片结果如图所示：

总文件数330，实际有图片的285，数据完好率85%。