chrome webdriver_golang 爬虫 Linux + chromedriver + chrome

Linux下chrome 安装

下载地址：https://www.google.com/chrome/?platform=linux

安装：

yum install google-chrome-stable_current_x86_64.rpm

查看版本：

google-chrome --version

chromedriver安装

wget https://chromedriver.storage.googleapis.com/84.0.4147.30/chromedriver_linux64.zip

注意：chrome 和 chromedriver 版本对应。不然会出现版本不兼容的情况哦！

加载selenium包

go get github.com/tebeka/selenium

golang代码：

package main
 
import (
 "fmt"
 "log"
 
 "github.com/tebeka/selenium"
 "github.com/tebeka/selenium/chrome"
)
 
// StartChrome 启动谷歌浏览器headless模式
func StartChrome() {
 opts := []selenium.ServiceOption{}
 caps := selenium.Capabilities{
  "browserName": "chrome",
 }
 
 // 禁止加载图片，加快渲染速度
 imagCaps := map[string]interface{}{
  "profile.managed_default_content_settings.images": 2,
 }
 
 chromeCaps := chrome.Capabilities{
  Prefs: imagCaps,
  Path:  "",
  Args: []string{
   "--headless", // 设置Chrome无头模式
   "--no-sandbox",
   "--user-agent=Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/604.4.7 (KHTML, like Gecko) Version/11.0.2 Safari/604.4.7", // 模拟user-agent，防反爬
  },
 }
 caps.AddChrome(chromeCaps)
 // 启动chromedriver，端口号可自定义
 service, err := selenium.NewChromeDriverService("./chromedriver", 9516, opts...)
 if err != nil {
  log.Printf("Error starting the ChromeDriver server: %v", err)
 }
 // 调起chrome浏览器
 webDriver, err := selenium.NewRemote(caps, fmt.Sprintf("http://localhost:%d/wd/hub", 9516))
 if err != nil {
  panic(err)
 }
 
 //目标网站
 targeUrl = "https://www.toutiao.com/i6846744256028082696"
 // 导航到目标网站
 err = webDriver.Get(targeUrl)
 if err != nil {
  panic(fmt.Sprintf("Failed to load page: %sn", err))
 }
 log.Println(webDriver.GetCookies())
 
 defer service.Stop()   // 停止chromedriver
 defer webDriver.Quit() // 关闭浏览器
}
 
func main() {
 StartChrome()
}