本文介绍了如何爬取淘宝模特列表页的模特相册图片。由于相册的照片是动态生成的所以用到了selenium和chromedriver来加载页面。
模特相册地址的起始页是https://mm.taobao.com/json/request_top_list.htm?page=1。
爬取图片的思路如下:
1.从起始页开始先获取模特个人信息页链接;
2.从个人信息页获取相册主页链接;
3.从相册主页获取各个相册的链接;
4.从相册的链接获取每张照片的地址,再下载照片。
流程如下图所示:
准备工具:
1.安装selenium:pip install selenium;
2.安装chrome浏览器
3.下载chromedriver.exe,把chromedriver.exe添加到环境变量中,为了省事我放到了C:\Python27\Scripts目录下,如下图所示;
一.获取模特个人信息链接
检查元素,找到个人信息链接的位置,然后用webdriverObj.find_elements_by_xpath('//p[@class="top"]/a[@class="lady-name"]')提取。
代码如下:
def get_model_info_links(webdriverObj, model_list_page_link): ''' 从https://mm.taobao.com/json/request_top_list.htm?page=XXX获取模