写爬虫的朋友一定了解过浏览器自动化,比如 Selenium 或者 Puppeteer,这其中我用的比较多的是 Selenium,Selenium 是一个用于 Web 应用程序测试的工具。Selenium 测试直接运行在浏览器中,就像真正的用户在操作一样。所以我们会使用 Selenium 进行模仿用户进行操作浏览器爬取数据。
之前使用的开发语言是 Python,今天我们来试试 Go selenium 吧。
安装
目前我正在使用的一个依赖库是 github.com/tebeka/sele…,功能较完整且处于维护中。
go get -t -d github.com/tebeka/selenium
复制代码
另外,我们需要对应不同类型的浏览器进行安装 WebDriver
,Google Chrome 需要安装 ChromeDriver,Firefox 则需要安装 geckodriver。
案例
这里我们使用的 Google Chrome,我们首先要指定 ChromeDriver 的位置并启动一个 WebDriver server,然后就可以开始操作浏览器了。
package main
import (
"fmt"
"os"
"strings"
"time"
"github.com/tebeka/selenium"
)
const (
chromeDriv