前言
今天爬取淘宝商品图片,遇到登录拦截,看了淘宝的登录 url 里的请求参数,好多加密,果断放弃。
不过可以用selenium模拟登录,然后获取cookies给requests使用,开整。
代码
from selenium import webdriver
from selenium.webdriver.support import wait
from selenium.webdriver.common.by import By
import requests
from requests.cookies import RequestsCookieJar
from fake_useragent import UserAgent
class SeleniumGetCookies:
def __init__(self, user, pwd):
self.user = user
self.pwd = pwd
ua = UserAgent()
headers = {
'User-Agent': ua.random
}
self.session = requests.Session()
self.session.headers.update(headers)
# 配置chrome,绕过淘宝的检测
option = webdriver