python 使用selenium+urllib爬取淘宝MM照片

        本文介绍了如何爬取淘宝模特列表页的模特相册图片。由于相册的照片是动态生成的所以用到了selenium和chromedriver来加载页面。

        模特相册地址的起始页是https://mm.taobao.com/json/request_top_list.htm?page=1。

        爬取图片的思路如下：

       1.从起始页开始先获取模特个人信息页链接；

       2.从个人信息页获取相册主页链接；

       3.从相册主页获取各个相册的链接；

       4.从相册的链接获取每张照片的地址，再下载照片。

      流程如下图所示：

准备工具：

    1.安装selenium：pip install selenium；

    2.安装chrome浏览器

    3.下载chromedriver.exe，把chromedriver.exe添加到环境变量中，为了省事我放到了C:\Python27\Scripts目录下，如下图所示；

                                                           

一.获取模特个人信息链接

检查元素，找到个人信息链接的位置，然后用webdriverObj.find_elements_by_xpath('//p[@class="top"]/a[@class="lady-name"]')提取。

代码如下：

def get_model_info_links(webdriverObj, model_list_page_link):
    '''
    从https://mm.taobao.com/json/request_top_list.htm?page=XXX获取模