在爬取淘宝等需要登陆的网站时,模拟点击打开新的页面往往需要重新登陆,这时可以通过采用本地打开一个浏览器,设置监听端口,在该端口下模拟浏览器,这样浏览器会记住所有的用户行为,只要登陆过一次就不必重复登录。
(本文采用chrome,chromedriver,pycharm工具)
首先,需要找到浏览器的位置,右键点击chrome.exe图标,选择属性,将地址复制下来
用cmd命令打开命令提示符,切换到上一步复制的地址,然后在本地9222端口下打开浏览器,命令如下:
chrome.exe --remote-debugging-port=9222
就会自动打开chrome,在地址栏输入
127.0.0.1:9222/json
如果有内容说明监听成功,如果没显示内容,检查是否打开其他的chrome
接下来在python代码中模拟浏览器,代码如下:
from selenium.webdriver.chrome.options import Options
chrome_option=Options()
chrome_option.add_argument("--disable-extensions")
chrome_option.add_experimental_option("debuggerAddress", "127.0.0.1:9222")
# path为chromedriver的路径
browser = webdriver.Chrome(executable_path="path",
chrome_options=chrome_option)
# url 为需要爬取的网址
browser.get(url)
程序就会在打开的浏览器下打开需要爬取的网址,并且只需要登陆一次,就不必多次登录
如果想实现静默状态下,即不显示浏览器界面,可添加参数
chrome_option.add_argument('headless')