模拟浏览器登录淘宝,使用传统的Selium以及phantomjs拖动滑块验证目前已经被淘宝识别,所以只能携带cookie登录,常用的方式就是用抓包工具抓取请求没然后添加在headers里,这里介绍的是手工登录保存cookie到本地,还是利用浏览器模拟,不多介绍,这里只是middlewares部分.
class SeleiumMiddleware(object):
def __init__(self):
self.browser = webdriver.Chrome()
def process_request(self, request, spider):
#下面添加请求头用
is_add = False
#先判断文件是否存在,不存在说明第一次访问,需要保存cookie
if not os.path.exists('cookies.json'):
self.browser.get(request.url)
input()
# 获取cookie并通过json模块将dict转化成str
dictCookies = self.browser.get_cookies()
jsonCookies = json.dumps(dictCookies)
# 登录完成后,将cookie保存到本地文件
with open('cookies.json', 'w') as f:
f.write(jsonCookies)
if is_add ==False:
# 初次建立连接,随后方可修改cookie
self.browser.get('https://www.taobao.com/')
# 删除第一次建立连接时的cookie
self.browser.delete_all_cookies()
# 读取登录时存储到本地的cookie
with open('cookies.json', 'r', encoding='utf-8') as f:
listCookies = json.loads(f.read())
for cookie in listCookies:
self.browser.add_cookie({
'domain': '.taobao.com', # 此处xxx.com前,需要带点
'name': cookie['name'],
'value': cookie['value'],
'path': '/',
'expires': None
})
is_add =True
# # 再次访问页面,便可实现免登陆访问
self.browser.get('https://www.taobao.com/')
time.sleep(10)
self.browser.refresh()
return HtmlResponse(url=self.browser.current_url, body=self.browser.page_source, encoding="utf-8",
request=request)
else:
self.browser.get(request.url)
time.sleep(6)
return HtmlResponse(url=self.browser.current_url, body=self.browser.page_source, encoding="utf-8",
request=request)