模拟浏览器登录淘宝

模拟浏览器登录淘宝,使用传统的Selium以及phantomjs拖动滑块验证目前已经被淘宝识别,所以只能携带cookie登录,常用的方式就是用抓包工具抓取请求没然后添加在headers里,这里介绍的是手工登录保存cookie到本地,还是利用浏览器模拟,不多介绍,这里只是middlewares部分.

class SeleiumMiddleware(object):
    def __init__(self):
        self.browser = webdriver.Chrome()

    def process_request(self, request, spider):
        #下面添加请求头用
        is_add = False
        #先判断文件是否存在,不存在说明第一次访问,需要保存cookie
        if not  os.path.exists('cookies.json'):
            self.browser.get(request.url)
            input()
            # 获取cookie并通过json模块将dict转化成str
            dictCookies = self.browser.get_cookies()
            jsonCookies = json.dumps(dictCookies)
            # 登录完成后，将cookie保存到本地文件
            with open('cookies.json', 'w') as f:
                f.write(jsonCookies)

        if is_add ==False:

            # 初次建立连接，随后方可修改cookie
            self.browser.get('https://www.taobao.com/')
            # 删除第一次建立连接时的cookie
            self.browser.delete_all_cookies()
            # 读取登录时存储到本地的cookie
            with open('cookies.json', 'r', encoding='utf-8') as f:
                listCookies = json.loads(f.read())
            for cookie in listCookies:
                self.browser.add_cookie({
                    'domain': '.taobao.com',  # 此处xxx.com前，需要带点
                    'name': cookie['name'],
                    'value': cookie['value'],
                    'path': '/',
                    'expires': None
                })
            is_add =True
            # # 再次访问页面，便可实现免登陆访问
            self.browser.get('https://www.taobao.com/')
            time.sleep(10)
            self.browser.refresh()
            return HtmlResponse(url=self.browser.current_url, body=self.browser.page_source, encoding="utf-8",
                                request=request)
        else:
            self.browser.get(request.url)
            time.sleep(6)
            return HtmlResponse(url=self.browser.current_url, body=self.browser.page_source, encoding="utf-8",
                                request=request)