chromedp
chromedp
Clown95
a low coder
展开
-
Chromedp 绕过检测
使用chromdedp爬虫,绕过检测机制。原创 2023-02-28 18:58:28 · 1246 阅读 · 2 评论 -
go使用chromedp爬虫(旧)
title: go使用chromedp爬虫tags: go,chromedpauthor: Clown95背景最近朋友让我帮忙爬取一个网站上面的数据,当时看到页面觉得很简单,虽然有25000多页,但是网站没有反爬虫机制,只要多开几个协程就行。当我简单的爬取第一页之后,发现url没有page参数。好吧,查看翻页的源代码看看,javascript:__doPostBack('anpDa...原创 2019-04-11 09:07:18 · 13025 阅读 · 0 评论 -
chromedp 新选项卡爬虫处理
起因相信很多人都遇到这种情况,我们访问网站的时候,点击某个链接,访问的页面会在浏览器新标签或者新窗口中显示。我在使用chromedp进行爬虫时,如果进行点击事件,并且a标签的属性未target="_blank",chromdp不会获取新标签的Context,而是仍会停留在原来的Context,这个时候我们就需要监听新的标签。例子···go/**注册新tab标签的监听服务*/package mainimport (“context”“github.com/chromedp/cdprot原创 2021-07-26 01:48:36 · 3518 阅读 · 1 评论 -
chromedp 显示窗口
chromedp现在默认是无头模式的,但是有的时候我们看浏览器执行的状态,还有部分操作是在无头模式下报错,所以需要显示窗口。opts := append(chromedp.DefaultExecAllocatorOptions[:], chromedp.NoDefaultBrowserCheck, //不检查默认浏览器 chromedp.Flag("headless", false), //开启图像界面,重点是开启这个 chr原创 2021-07-26 01:59:39 · 2317 阅读 · 0 评论 -
chromedp 关于iframe的坑
起因最近在使用chromedp进行爬虫的时候,发现怎么都无法获取到内容,最终发现是因为使用了iframe,chromedp获取到iframe的内容,或者无法对iframe进行操作。方法我们可以使用·EvaluateAsDevTools或者Evaluate运行javascript来完成目标。1.获取iframe的内容var res string //存储js执行返回内容 err := chromedp.Run(ctx, // ._2ngM58AmonJc1uOl10jZ_H 大屏监控原创 2021-07-25 16:57:26 · 2575 阅读 · 1 评论 -
使用go chromedp爬虫
title: 使用go chromedp爬虫tags: go,chromedpauthor: Clown95背景最近小伙伴通过某些手段获取到了别人网站上的会员信息,所以他想让我把会员账号爬取下来。其实网站的内容很简单,但是难就难在不知道怎能控制翻页,它既不是通过url参数进行翻页,也不是通过ajax参数翻页。最终我选择chromedp这个库模拟浏览器操作,进行数据爬取。其实这个页...原创 2019-12-15 14:31:58 · 7078 阅读 · 1 评论