使用pyppeteer访问页面。解决链接时间过短，链接中断的问题

最新推荐文章于 2022-01-02 22:24:56 发布
最新推荐文章于 2022-01-02 22:24:56 发布
阅读量384 收藏
点赞数
文章标签： chrome 前端 javascript
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_47056494/article/details/122111023
版权

使用pyppeteer访问页面。解决链接时间过短，链接中断的问题


1、最常的参数headless
最常的参数headless，如果它的值为True或者默认不设置，在启动的时候我们是看不到任何界面的，如果它的值为False，在启动的时候就可以看到界面。一般使用False。
2、args参数
启动界面时，我们会在浏览器上边看到“Chrome正在受到自动测试软件的控制”，关闭这个提示需要增加args参数：args=[’–disable-infobars’]。但是！有些网站还是可以检测到webdriver，例如发生滑块报错等。
3、解决webdriver检测
只需要使用JavaScript赋值为false即可，代码如下：
await page.evaluate(’’’() =>{ Object.defineProperties(navigator,{ webdriver:{ get: () => false } })}’’’)

在这里插入图片描述
访问之后

蒋小痣
关注
如何用selenium或pyppeteer来链接并打开指纹浏览器AdsPower【最新版】
Python进阶专栏《爬虫实战进阶》，《数据分析入门与实战》原创作者
03-07 942
本文是该专栏的第66篇，后面会持续分享python爬虫干货知识。在本专栏之前，针对使用Python的Selenium或者Pyppeteer来链接并打开AdsPower指纹浏览器的方法，笔者前面都有详细介绍并附带完整操作代码。感兴趣的同学，可以往前翻阅查看。由于selenium目前的版本已经升级到 4.0+版本，之前笔者在文章中介绍的selenium操作方法是基于4.0+版本之前的，导致部分selenium启动操作可能会报错。所以笔者在本文中，将基于selenium最新的4.0+ 版本以及pyppeteer
Puppeteer之Pyppeteer-百度页面输入关键词，随机点击某新闻(7)
Python进阶专栏《爬虫实战进阶》，《数据分析入门与实战》原创作者
03-21 704
本文介绍使用pyppeteer打开百度搜索页面，输入关键词，并随机点击某个新闻链接，然后再次返回关键词结果页。而我们接下来要做的就是，给该代码增加一个随机点选某个新闻链接的功能。通常情况下，页面结果会有10条，我们可以创建一个随机数组，让程序随机去点选某个新闻链接。：使用pyppeteer打开百度搜索页面，输入关键词，并随机点击搜索词结果页的首页某个新闻链接，然后再次返回关键词结果页。这里需要借助selector定位，关于selector定位方法，这里暂时不详述了，感兴趣的朋友可自行查阅资料。
解决pyppeteer导航超时问题: pyppeteer.errors.TimeoutError: Navigation Timeout Exceeded: 30000 ms exceeded
qq_29570381的博客
05-01 3万+
使用pyppeteer的时候，有时候会遇到pyppeteer.errors.TimeoutError: Navigation Timeout Exceeded: 30000 ms exceeded这样的报错信息，目前发现有三个原因容易导致该错误 一 由于网速慢，或者访问国外的网站等原因，网页在30秒内没有加载完成，就会报导航超时错误 二 协程中乱用time.sleep(), 或者await asy...
Windows 运行 pyspider 显示 python已崩溃
Wilson_Yao的博客
10-13 1030
问题： 在运行pyspider时，显示python已崩溃 原因： pyspider 不支持python3，需要用python2运行 解决方法： 安装python2，然后在命令窗口pip安装pyspider，运行pyspider即可解决问题
使用pyppeteer调用puppeteer访问页面
李谦的博客
01-28 6588
pyppeteer文档：https://miyakogi.github.io/pyppeteer/index.html 参考：https://www.jianshu.com/p/fd9eb385a70e 1 安装pyppeteer pip install pyppeteer 2 配置puppeteer和chrome 要使用python调用puppeteer前当然先要把chrome内核和dri...
python爬虫 Pyppeteer使用方法解析
12-31
Selenium 在被使用的时候有个麻烦事，就是环境的相关配置，得安装好相关浏览器，比如 Chrome、Firefox 等等，然后还要到官方网站去下载对应的驱动，最重要的还需要安装对应的 Python Selenium 库，确实是不是很方便...
python爬虫神器Pyppeteer入门及使用
09-19
下面是一个简单的使用示例，展示如何使用Pyppeteer访问网页并进行截图： ```python import asyncio from pyppeteer import launch async def main(): browser = await launch() page = await browser.newPage() ...
pyppeteer Chrome无响应问题解决
Memory_and_Dream的博客
11-30 6287
pyppeteer 是puppeteer的python非官方实现。感觉以后要比selenium好用，不过现在用的人还不多，所以有些问题卡了半天也没人可以问。 我用pyppeteer来做淘宝自动登录的时候发现页面打开多了就卡主了，chrome未响应。折腾了我好几天，自己看源码才发现launch要设置dumpio:True，不然程序调用subprocess.Popen打开chrome之后stderr，...
puppeteer获取打开的链接,打开新连接,切换tab
小朱的专栏
07-06 1万+
1.browser.pages()可以获取所有打开的Page对象，可以通过遍历找到自己想获取的Page对象 2.通过browser.waitForTarget获取target const target = await browser.waitForTarget(t=>t.url() == 'https://www.baidu.com/') const page = await targe...
Pyppeteer爬虫遇到了click点击问题
ljrshawn的博客
01-23 6845
已有大佬写过Pyppeteer的详细说明，这里主要说一下在爬虫过程中遇到的关于click问题。 click方法很简单，就直接调用 await page.click('.Selector', options={'button': 'left', #left, right, of middle, defaults to left 'clickCount': 1, # 1 or 2
pyppeteer使用时常见的bug及解决办法
Mr.louis
10-18 8265
背景 最近时不时的会用到pyppeteer，一会儿是本地环境利用pyppeteer写个模拟浏览器的小脚本，一会儿是线上阿里云服务器上需要部署pyppeteer所写的脚本。中途遇到一些问题，最后都是通过goolge解决了。为了以后不再到处google，故写下此博客。 问题一 pyppeteer.errors.NetworkError: Protocol error Network.getCookie...
Python爬虫之pyppeteer的使用
热门推荐
Ghjkku的博客
01-02 4万+
背景: 在使用selenium抓取数据时，在访问显示如下，解决了后续发现网站会对selenium和webdriver进行识别，网站不给你执行js，于是尝试更换pyppeteer来尝试，避开webdriver检测 Chrome “您的连接不是私密连接的方法” 解决办法 添加 --test-type --ignore-certificate-errors --disable-web-security --user-data-dir 以下正文-----------------------------.
docker中使用pyppeteer报出如下错误时pyppeteer.errors.BrowserError: Browser closed unexpectedly
houmenghu的博客
12-13 3195
之前开发了一个爬虫项目，需要用到requests_html在本地html页面渲染js，执行一些加密解密操作，在linux运行时候的坑真的多得很。 另外，最近换服务器，想把项目放在docker里，在这里对 Pyppeteer 打包 Docker 的坑简单做一下总结。 概述 Pyppeteer 打包 Docker 主要是有这么几个坑点： 依赖没有安装，导致无法正确安装和启动 Pyppeteer。 没有关闭沙盒模式，导致可能出现 Browser closed unexpectedly 错误•没有提前安装好 Pyp
pyppeteer最为核心类Page的接口方法(下)
python之战
04-29 1万+
重要：因为同步公号的文章格式很难保证，所以后面文章选择性在其他平台同步，欢迎移步公众号（Python之战）,每日更新原汁原味！ 在上一篇《pyppeteer最为核心类Page的接口方法》讲了大部分pyppeteer的Page类的接口，与selenium相比增强了与页面js的交互功能，同时增加了设备的伪装和模拟能力，一方是因为pyppeteer库是源于puppeteer，而puppeteer是Go...
python pyppeteer 关闭浏览器 close()
weixin_55399173的博客
11-12 1708
import pyppeteer import asyncio async def main(): browser = await pyppeteer.launch(headless=False, args=['--disable-infobars']) page = await browser.newPage() await page.setViewport({'width': 1366, 'height': 768}) await page.evaluateOnNew
puppeteer-点击a标签到另一个界面，获取新界面的链接
stay hungry stay foolish
11-26 6130
需求: 点击a标签到另外一个新页面，获取新页面的网址，验证与预期是否相同 代码： const page = await browser.newPage(); await page.goto("http://xxxxxxxxx");先去第一个页面 await currentPage.waitFor(2 * 1000); ...
sctapy使用pyppeteer
最新发布
09-09
sctapy是一个基于Python的数据采集框架，而pyppeteer是它所使用的一个模块。pyppeteer是一个无头浏览器（Headless Browser）的Python库，它提供了与浏览器进行交互和操作的能力。 使用sctapy和pyppeteer进行数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值