golang操作chromedp模拟浏览器基础入门

最新推荐文章于 2024-08-08 07:45:31 发布
最新推荐文章于 2024-08-08 07:45:31 发布
阅读量9.9k 收藏 24
点赞数 3
分类专栏： 安全研发 文章标签： go 网络安全 渗透测试 信息安全 golang
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34923966/article/details/113834347
版权

源起

最近有个项目要用到headless，以前用过python Selenium。最近想试下go版本的。但是刚开始时候，发现一个坑。网上有部分代码是老版本的chromedp。新版本不通用，就记录下我的学习过程

chromedp 是什么?

广泛使用的headless browser解决方案PhantomJS已经宣布不再继续维护,转而推荐使用headless chrome

那么headless chrome究竟是什么呢,Headless Chrome 是 Chrome 浏览器的无界面形态,可以在不打开浏览器的前提下,使用所有 Chrome 支持的特性运行您的程序。可以像在其他现代浏览器里一样渲染目标网页,并能进行网页截图,获取cookie,获取html等操作.

想要在golang程序里使用headless chrome,需要借助一些开源库,实现和headless chrome交互的库有很多,这里选择chromedp,接口和Selenium类似,易上手。

普通模式

普通模式会在电脑上弹出浏览器窗口，可以在浏览器中看到代码执行的效果，调用完成之后需要关闭掉浏览器。

chrome headless模式

chrome headless模式不会弹出浏览器窗口，并且你多次go run main.go的时候, go 代码运行中断导致后台chrome headless不能退出,导致第二次本地调试失败, 此时解决方案就是自己手动结束chrome进程。
因此在调试go代码的时候不建议使用chrome headless模式。

一些浏览器参数

  • --no-first-run 第一次不运行
  • ---default-browser-check 不检查默认浏览器
  • --disable-gpu 关闭gpu,服务器一般没有显卡
  • remote-debugging-port chrome-debug工具的端口(golang chromepd 默认端口是9222,建议不要修改)
  • --no-sandbox 不开启沙盒模式可以减少对服务器的资源消耗,但是服务器安全性降低,配和参数 --remote-debugging-address=127.0.0.1 一起使用
  • --disable-plugins 关闭chrome插件
  • --remote-debugging-address 远程调试
最低0.47元/天 解锁文章
渗透测试教程
关注
专栏目录
Go Chromedp库得使用----CDP（Chrome DevTools Protocol)
路小白的博客
12-24 9234
Go chromedp库的使用 —CDP 文章目录Go chromedp库的使用 ---CDPCDP（Chrome DevTools Protocol)基于CDP协议的相关语言操作Chromedp使用示例本地界面浏览器操作远程操作示例（无头浏览器）Centos 安装chronium-headless示例代码Browsesrless/chrome部署Linux-Centos安装NodeJS参考 CDP（Chrome DevTools Protocol) Chrome DevTools Protocol 是基.
golang语言chromedp包介绍以及如何弹出浏览器进行调试
小庄
07-21 5087
golang语言chromedp包介绍以及如何弹出浏览器进行调试 背景 想要做一个定时自动发送微博的程序，微博API提供了一个接口statuses/share，但是该接口需要注册微博开发者并审核通过(需要有app或者网站)微博应用审核产品指南。因此通过搜索引擎了解到可以通过程序控制chrome浏览器来实现，在GitHub上找到了chromedp这个包，但是相关文档比较少。这里把我了解和学习这个包，并实现自动化发送微博的过程记录并分享出来。 关于chromedp GitHub地址：https://github
chromedp项目安装及使用指南
最新发布
gitblog_01107的博客
08-08 970
chromedp项目安装及使用指南 chromedpA faster, simpler way to drive browsers supporting the Chrome DevTools Protocol.项目地址:https://gitcode.com/gh_mirrors/ch/chromedp 项目介绍 chromedp是一款以更快捷、更简单的方式驱动支持Chrome DevTool...
Golang爬虫终极杀器——Chromedp让你成为二维码登陆终结者（教程）
热门推荐
Avtionの秘密房间
11-08 1万+
chromedp是一个更快、更简单的Golang库用于调用支持Chrome DevTools协议的浏览器，同时不需要额外的依赖，文章记录了使用chromedp进行二维码登陆的过程
go模拟android浏览器,golang模拟点击浏览器
weixin_39524959的博客
05-28 839
发现一个很好玩的浏览器模拟操作包，下面演示一下，打开网站，点击某个链接package mainimport ("fmt""time""github.com/go-vgo/robotgo""sourcegraph.com/sourcegraph/go-selenium")func main() {var webDriver selenium.WebDrivervar err errorcaps :=...
Golang使用selenium、chromedp操作Chrome
王小懒的学习笔记
07-28 4462
Golang使用selenium golang中使用selenium，具体可以参考这篇文章，不是很全，但是基础的差不多都有 地址：https://bbs.huaweicloud.com/blogs/172024 这里补充说一点，由于使用selenium，浏览器会出现”Chrome正受到测试软件的控制“， 对于有点强迫症的我来说，看着非常不舒服！！！！ 可以通过下面这个参数来取消掉这个提示 func main() { //1.开启selenium服务 ops := []s..
【Golang源码学习】chromedp篇
qq_40119224的博客
08-16 843
chromedp源码阅读
golang 读取ajax请求,golang 使用chromedp获取页面请求日志network
weixin_42468413的博客
08-06 1772
package mainimport ("context""io/ioutil""log""os""strings""time""github.com/chromedp/cdproto/network""github.com/chromedp/chromedp")func main() {dir, err := ioutil.TempDir("", "chromedp-example")if er...
Golang+chromedp+goquery 简单爬取动态数据
m0_37322399的博客
03-05 2401
文章目录Golang+chromedp+goquery 简单爬取动态数据Golang的安装下载golang软件解压golang配置golang重新导入配置chromedp框架的使用实际的代码编写开始编码如下是拓展和解释上述代码的内容goquery第三方库的使用开始编码如下是关于goquery一些用法如何将自己的程序部署到阿里云服务器上screen工具 Golang+chromedp+goquery 简单爬取动态数据 兵长： 胖sir，最近一段时间正在使用golang来进行开发项目，慢慢的对golang有了一
用golang chromedp 操作已经打开的chrome浏览器
weixin_30663471的博客
02-01 2224
win7 环境，主要是一开始想在代码中先用exec.Command启动chrome，但始终不能成功监听9222端口，折腾了很长时间， 需要先手工启动chrome监听端口（具体写在代码注释中了）然后再运行代码，在开源代码基础上稍作修改，将访问不了的google换成sohu。 效果就是通过代码将浏览器导航到了sohu.com // Command standalone is a chrome...
Go-browscapgo-提供浏览器功能的GoLang项目
08-14
browscap_go - 提供浏览器功能的GoLang项目
Go-chromedp使用Chrome调试协议以一种更快更简单的方式来操作浏览器
08-14
chromedp 使用Chrome调试协议以一种更快，更简单的方式来操作浏览器（Chrome，Edge，Safari，Android等），而无需外部依赖（即Selenium，PhantomJS等）。
examples:chromedp代码示例
05-12
关于chromedp示例 此文件夹包含使用的各种代码示例。 godoc页面包含许多，这些通常是独立的，而此存储库包含更复杂的示例，这些示例往往需要Internet访问或外部组件。 请注意，在重写chromedp软件包时，这些示例可能会中断。 此外，由于这些示例是为特定网站编写的，因此当前选择器等很有可能在编写网站后因更改而中断。 尽管已尽一切努力确保这些示例保持最新状态，但是可以预期这里提供的示例可能会偶尔中断。 要提交问题，请使用。 构建并运行示例 您可以按照通常的Go方式构建和运行以下示例： # retrieve examples $ go get -u -d github.com/chromedp/examples # run example <prog> $ go run $GOPATH /src/github.com/chromedp/examples/ < prog>
golang通过浏览器操作服务器中文件
tttttzz的博客
07-15 373
golang：浏览器获取服务器中文件列表，动态生成表格，并服务器中文件进行操作。
Golang使用chromedp对网页各类操作记录
AlphaTao的博客
11-02 7793
背景 之前使用了chromedp对网页进行了截图操作 这次需要对网页的按钮、输入框进行点击和输入操作 我们对每一次操作进行截图 可以清晰的看到每次的操作结果 备忘 参考： https://github.com/chromedp/chromedp https://pkg.go.dev/github.com/chromedp/chromedp#pkg-overview 具体实现 先简单的列举一些常见的使用到的api，具体的说明可以参见上面参考链接 名字 说明 Navigate 进入某个页面
golang使用chromedp生成滚动更新页面的PDF
BLF2
11-04 1687
golang使用chromedp实现懒加载页面生成PDF
golang chromedp移动端模拟
weixin_44296403的博客
09-09 693
golang chromedp移动端模拟
go模拟android浏览器,模拟浏览器登录操作
weixin_42134117的博客
05-28 343
近来想用Go做一点事，以减轻工作上的负担。我的工作中有几项工作是每日重复的，大致内容：1、将数据收集到Excel中。2、收集齐后，将Excel中的部分数据提交到办公系统中(网页上操作)。3、再将提交过后的审批号码提取出来，存入Excel中。我现在有两个问题：1、现在，上面的第一步Excel操作，Go中不知有何现成的库，若没有，我有个效率不高的办法。这个问题倒还不算急。2、第二个问题比较着急。向办公...
golang ChromeDP
03-09
Chromedp是一个用于调用支持Chrome DevTools协议的浏览器的Golang库，它可以让你更快、更简单地进行虫操作，而无额外的依赖（如Selenium和antomJS）[^]。通过使用Chromedp，你模拟用户在览器中的操作，例如点击、输入文本、截屏等。这使得Chromedp成为强大的工具，特别适用需要与JavaScript交互的爬虫任务。 以下是一个使用Chromedp的简单示例，用于打开一个网页并获取页标题[^1]： ```go package main import ( "context" "fmt" "log" "time" "github.com/chromedp/chromedp" ) func main() { // 创建一个上下文 ctx, cancel := chromedp.NewContext(context.Background()) defer cancel() // 创建一个超时上下文，设置超时时间为10秒 ctx, cancel = context.WithTimeout(ctx, 10*time.Second) defer cancel() // 执行任务 var title string err := chromedp.Run(ctx, chromedp.Navigate("https://www.example.com"), chromedp.Title(&title), ) if err != nil { log.Fatal(err) } // 输出网页标题 fmt.Println("网页标题:", title) } ``` 这个示例演示了如何使用Chromedp打开一个网页，并获取网页的标题。你可以根据自己的需求，使用Chromedp进行更复杂的操作，例如填写表单、点击按钮、截取网页截图等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值