Selenium爬虫登录生成Cookie

Selenium爬虫登录生成Cookie

网站登录，本质上就是登录完成之后服务器给客户端一个凭据，这个凭据可以存在cookie里，也可以存在别的地方，客户端下次请求网页的时候带上这个凭据，服务端就会认为这个客户端是登录过的。所以对于爬虫来说，生成cookies是代理使用成为了一个必须要做的事情。

示例

安装chrome和对应driver

下载chrome对应版本的chrome deriver

下载对应版本 driver 
https://chromedriver.chromium.org/downloads

例如：

 

 

生成cookies

我们使用chrome driver来进行登录和cookie的生成

import os

import time

import zipfile

from selenium import webdriver

from selenium.common.exceptions import TimeoutException

from selenium.webdriver.common.by import By

from selenium.webdriver.support import expected_conditions as EC

from selenium.webdriver.support.ui import WebDriverWait

class GenCookies(object):

USER_AGENT = open('useragents.txt').readlines()

# 16yun 代理配置

PROXY_HOST = 't.16yun.cn' # proxy or host 亿牛云代理www.16yun.cn

PROXY_PORT = 31111 # port

PROXY_USER = 'USERNAME' # username

PROXY_PASS = 'PASSWORD' # password

 

@classmethod

def get_chromedriver(cls, use_proxy=False, user_agent=None):

manifest_json = """

{

"version": "1.0.0",

"manifest_version": 2,

"name": "Chrome Proxy",

"permissions": [

"proxy",

"tabs",

"unlimitedStorage",

"storage",

"<all_urls>",

"webRequest",

"webRequestBlocking"

],

"background": {

"scripts": ["background.js"]

},

"minimum_chrome_version":"22.0.0"

}

"""

background_js = """

var