python爬虫(14)获取淘宝MM个人信息及照片（上）

python爬虫(14)获取淘宝MM个人信息及照片（上）

python爬虫(14)获取淘宝MM个人信息及照片（中）

python爬虫(14)获取淘宝MM个人信息及照片（下）（windows版本）

网上看到有获取淘宝MM照片的python程序，于是自己也忍不住照着学习一下

不得不说，淘宝网站的网页有所变化，只是纯粹把之前网上的程序down下来，程序还真的运行不起来。

有鉴于此，这里就使用新的方法来重新编码，获取淘宝MM的图片

思路是 访问主页面    获取当前页面每一个模特的主页url，  在模特的主页 获取个人信息以及头像保存好，同时获取个人相册地址

在个人相册获取相册数量，获取每一个相册名字以及该相册的照片数量，进入每一个相册获取每一个相册的相片地址

1.获取入口地址

#!/usr/bin/python
#coding=utf-8
__author__ = 'Jimy_fengqi'

from selenium import webdriver

import sys
reload(sys)
sys.setdefaultencoding('utf-8')

class TaoBaoSpider:
	def __init__(self):
		#自定义页面起始页
		self.page=1
		#定义存储的文件夹名字
		self.dirName='Jimy_fengqi'
		#创建webdriver全局变量
		self.driver = webdriver.PhantomJS()

	#页面加载入口	
	def getContent(self,maxPage):
		for index in range(1,maxPage+1):
			print '当前是第%d页' % index
			self.getMMurl(index)
		self.driver.quit()
	#获取页面内容，同时找到MM的个人主页入口
	def getMMurl(self,index):
		url="https://mm.taobao.com/json/request_top_list.htm?page="+str(index)
		#获取页面内容
		self.driver.get(url)
		#找到当前页面所有的个人主页入口，通过xpath的方式来匹配
		items=self.driver.find_elements_by_xpath('//div[@class="list-item"]/div[1]/div[1]/p/a')
		mmUrls=[]
		for item in items:
			#对获得到的url进行处理
			MMurl= item.get_attribute('href').replace("model_card","model_info")
			mmUrls.append(MMurl)
			print MMurl

spider=TaoBaoSpider()
spider.getContent(1)

结果如下：

当前是第1页
https://mm.taobao.com/self/model_info.htm?user_id=687471686
https://mm.taobao.com/self/model_info.htm?user_id=405095521
https://mm.taobao.com/self/model_info.htm?user_id