爬虫有时候是需要登录的,如果有复杂的验证码就不方便模拟登录了
这里直接使用浏览器保存的cookie等身份信息进行爬虫,免去登录的过程(如果cookie不是关闭浏览器就失效)
这里使用selenium +chrome,先在chrome上登录好,之后关闭浏览器使用脚本即可
from selenium import webdriver
option = webdriver.ChromeOptions()
#使用原有chrome的登录信息,注意:需要关闭原chrome
option.add_argument(r'user-data-dir=C:\\Users\\Giao\AppData\\Local\\Google\\Chrome\\User Data')
driver =webdriver.Chrome(executable_path="C:\Program Files\Google\Chrome\Application\chromedriver.exe",chrome_options=option)
有了driver之后就直接模拟爬虫吧