爬取msdn.itellyou.cn网站

最近一直在琢磨爬虫，从最早的BeautifulSoup爬取游民福利图，后来要爬取的动态网页多了，就逐渐过渡到了selenium+chromedriver/phantomJs的爬虫组合。偶然间听基友说有个msdn.itellyou.cn里收集了各种微软程序的ed2k安装包，因此便开始了对它的爬取之旅。

这个网站的页面结构还是挺复杂的。通过观察，发现软件的名称和地址都在右侧内容项中的label>checkbox中，名称为label的值，而地址为checkbox的data-url属性。且右侧的具体内容是通过div的动态加载来实现的，只有在点击了左侧的具体目录项才会出现；对于多语言的软件，每个子标签中的软件的xpath中的id又是不同的，因此需要动态获得每个子标签的id。最后，该网站会时不时地弹出呼吁捐赠的对话框，也会对爬虫造成影响。

由于采用selenium+chromedriver，且网站的各个资源项的id也摸不到规律，只能用最笨的方法——模拟点击法来获取所有软件的地址，即将目录项一个一个点开后再依次点击右侧的语言栏（若有的话）；同时，在点击时还要处理随时可能弹出的捐款对话框。此外，有很多目录项里头其实没有数据，但也要花费一定时间点击。总的来说，这个爬虫效率是比较低的，若大家有更高效率的方法，欢迎提出。

源代码如下：

# -*- coding=utf-8 -*-
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
import time
from selenium.common.exceptions import NoSuchElementException,ElementNotVisibleException,WebDriverException,TimeoutException
import xlwt
#左侧目录的xpath
catalogue_list = ['//*[@id="accordion"]/div[1]/div[1]/h4/a',
                  '//*[@id="accordion"]/div[2]/div[1]/h4/a',
                  '//*[@id="accordion"]/div[3]/div[1]/h4/a',
                  '//*[@id="accordion"]/div[4]/div[1]/h4/a',
                  '//*[@id="accordion"]/div[5]/div[1]/h4/a',
                  '//*[@id="accordion"]/div[6]/div[1]/h4/a',