pyppeteer和selenium远程操控浏览器

1. 配置环境

Chrome浏览器是支持远程调试模式的。这个模式打开的情况下，Puppeteer或者Selenium可以通过websocket连上去，进而控制它。
首先我们来启动Chrome的远程调试端口。你需要找到Chrome的安装位置，在Chrome的地址栏输入chrome://version就能找到Chrome的安装路径，如下图所示：

有了这个以后，我们需要执行命令启动支持远程调试功能的Chrome。如果你的电脑是Mac，那么命令是：

"/Applications/Google Chrome.app/Contents/MacOS/Google Chrome"  --remote-debugging-port=9222 --no-first-run --no-default-browser-check --user-data-dir=$(mktemp -d -t 'chrome-remote_data_dir') 

注意，由于地址中有空格，所以要把可执行文件的路径用引号抱起来。

如果你的电脑是Windows，那么就很简单了，执行命令：

# 使用当前浏览器
"C:\Program Files\Google\Chrome\Application\chrome.exe" --remote-debugging-port=9222
# 创建一个全新配置的浏览器, 一个文件夹只会创建一次
"C:\Program Files\Google\Chrome\Application\chrome.exe"  --remote-debugging-port=9222 --user-data-dir="随便找个空文件夹路径"

mas启动以后如下图所示：
win启动以后会直接打开浏览器：

此时，你先不要动这个通过命令启动的Chrome。你先打开普通的浏览器，输入网址：http://127.0.0.1:9222/json/version，如下图所示：记住其中的webSocketDebuggerUrl后面的地址。这就是我们远程链接的地址。

今天我们以Puppeteer为例，介绍如何连接这个远程的Chrome。

在连之前，我们首先做一件事情，在通过命令启动的这个Chrome中，打开我们的登录练习页面，然后手动登录它。如下图所示：

2. 运行代码

2.1 Puppeteer的代码：

const puppeteer = require('puppeteer-core')

async function run(){
  var address = 'ws://127.0.0.1:9222/devtools/browser/f6ede2a1-cf7b-4a0d-b0ea-9c0cd24d240d'
  const browser = await puppeteer.connect({
  browserWSEndpoint: address,
});
  const page = await browser.newPage();
response = await page.goto('http://exercise.kingname.info/exercise_login_success', { waitUntil: 'load', timeout: 0 });
}
run()

这段代码最核心的就两行，连接远程的Chrome：

var address = 'ws://127.0.0.1:9222/devtools/browser/f6ede2a1-cf7b-4a0d-b0ea-9c0cd24d240d'
  const browser = await puppeteer.connect({
  browserWSEndpoint: address,
});

运行效果如下图所示：

2.2 pyppeteer代码:

import asyncio
import pyppeteer


async def run():
    address = 'ws://127.0.0.1:9222/devtools/browser/2cbeac62-820f-4b14-aa0b-5b6695207b27'
    browser = await pyppeteer.launcher.connect({'browserWSEndpoint': address})
    page = await browser.newPage()
    await page.setViewport({'width': 1920, 'height': 1080})
    await page.goto('http://exercise.kingname.info/exercise_login_success', options={'timeout': 10000})
    # print(await page.content())
    # await browser.close()

if __name__ == '__main__':
    asyncio.get_event_loop().run_until_complete(run())

可以看到，代码控制浏览器打开了一个新的标签页，并且立刻就能打开登录成功后的页面，不需要再次登录。

大家可以试一试，现在在终端窗口里面按下Ctrl + C把当前的爬虫代码强行关闭，然后再启动一次，你会发现依然是登录以后的页面。

这样一来，以后遇到需要登录的网站，只需要使用这个远程调试模式，先启动一个支持远程调试的Chrome浏览器，然后手动在浏览器上完成登录操作，接下来爬虫代码就再也不需要考虑登录这个动作了，爬虫可以直接访问登录后的页面。

你自己测试的过程中，可能会发现标签页越开越多。其实不用担心，这是因为我为了演示登录后的页面，没有关闭当前标签页导致的。你的爬虫执行完操作以后，可以使用await page.close()关闭当前标签页。只要至少保留一个标签页不关闭，那么这个浏览器窗口就可以一直使用。

如果本文的阅读量突破2000，我们就来讲讲用Selenium怎么调用远程调试功能的Chrome浏览器。

2.3 selenium代码:

from selenium.webdriver import Chrome
from selenium.webdriver.chrome.options import Options

chrome_options = Options()
chrome_options.add_experimental_option("debuggerAddress", "127.0.0.1:9222")
# 注意我把chromedriver文件放到了当前文件夹里面，所以可以这样调用
# 如果你是windows电脑，你需要使用./chromedriver.exe
driver = Chrome(options=chrome_options)

driver.get('http://exercise.kingname.info/exercise_login_success')
input('输入任意内容继续')
driver.get('https://www.kingname.info')
input('输入任意内容继续')
driver.get('http://exercise.kingname.info/exercise_login_success')

3. 参考文献

本文参考 未闻Code 大佬的文章, 推荐各位可以看看

登录练习: http://exercise.kingname.info/exercise_login_success
转载: https://mp.weixin.qq.com/s/ZifW2YtB_G2hmf_Es0BAgw