第十二章避开采集的陷阱使用selenium库处理cookie

最新推荐文章于 2024-08-13 02:17:57 发布

晴天下雨下雪下冰雹

最新推荐文章于 2024-08-13 02:17:57 发布

阅读量160

点赞数

分类专栏： python网络数据采集

本文链接：https://blog.csdn.net/qq_24599703/article/details/83684300

版权

python网络数据采集专栏收录该内容

24 篇文章 1 订阅

订阅专栏

#!/usr/bin/env python
# _*_ coding:utf-8 _*_
#根据cookie访问网站
#思路：第一个webdriver获取网站和cookie，然后第二个web网站加载同一个网站（必须先加载，这样selenium才知道cookie属于哪个网站）
#删除所有的cookie，替换成第一个的cookie，当再次加载页面的额时候应该两组的cookie时间戳、源代码、和其他信息应该完全一致
from selenium import webdriver

driver=webdriver.phantomjs(executable_path='D:/pycharm/phantomjs-2.1.1-windows/bin/phantomjs')
driver.get("http://pythonscraping.com")
driver.implicitly_wait(1)
print(driver.get_cookies())

saveCookies=driver.get_cookies()

driver2=webdriver.phantomjs(executable_path='D:/pycharm/phantomjs-2.1.1-windows/bin/phantomjs')
driver2.get("http://pythonscraping.com")
driver2.delete_all_cookies()
for cookie in saveCookies:
    driver2.add_cookie(cookie)

driver2.get("http://pythonscraping.com")
driver2.implicitly_wait(1)
print(driver2.get_cookies())