采用Selenium爬虫如何通过cookie访问网站

用Selenium做爬虫通过cookie访问网站

登录网站，并将cookie保存下来

import json
from selenium import webdriver
dirver_web = webdriver.Chrome()
dirver_web.get('https://login.taobao.com')
# 可以用账号密码登录，如果遇到封IP的情况，可以用代理IP解决方案
webCookies = dirver_web.get_cookies()
jsonCookies = json.dumps(webCookies)
# 登录完成后,将cookies保存到本地文件
with open("cookies.json", "w") as fp:
    fp.write(jsonCookies)
# 当然也可以存储在redis中

这里取得的是cookie的列表集，其中有效的信息主要是name和value。当然登录时也可以用户名和密码登录

读取cookie，进行访问

import json
from selenium import webdriver
web_browser = webdriver.Chrome()
web_browser .get("https://www.taobao.com/")
#重新进入，否则会报错
web_browser .delete_all_cookies()
with open('cookies.json', 'r', encoding='utf-8') as f:
    # 取得网站的所有cookie信息
    listCookies = json.loads(f.read())
for cookie in listCookies:
    web_browser.add_cookie({
        'domain': cookie['domain'],  # 此处xxx.com前，需要带点'.taobao.com'
        'name': cookie['name'],
        'value': cookie['value'],
        'path': '/',
        'expires': None
    })
web_browser.get("https://www.taobao.com/")
# 回到首页，然后再进行美食的搜索
input = waiter.until(
         EC.presence_of_element_located((By.CSS_SELECTOR, '#q'))
     )
submit = waiter.until(
         EC.presence_of_element_located((By.CSS_SELECTOR, '#J_TSearchForm > div.search-button > button'))
     )
input.send_keys('护肤品')
submit.click()