pyppeteer + 隧道代理 搭配使用

最新推荐文章于 2024-06-24 22:42:23 发布
最新推荐文章于 2024-06-24 22:42:23 发布
阅读量1.8k 收藏 7
点赞数
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HelloDWW/article/details/122689286
版权
本文介绍了如何将pyppeteer与隧道代理结合使用，通过定义代理服务器和身份验证函数，实现在pyppeteer中设置代理并进行身份验证。同时，文章还展示了如何随机设置useragent来改变请求头。
摘要由CSDN通过智能技术生成

pyppeteer + 隧道代理 搭配使用

这里不再多介绍pyppeteer的有点和使用方法，直接介绍pyppeteer + 隧道代理 的使用方法

首先定义一个代理函数：
def Proxies():
proxyHost = ‘dynamic.xingsudaili.com’
proxyPort = ‘10010’
proxyServer = ‘http://’ + proxyHost + ‘:’ + proxyPort
return proxyServer

再定义一个身份验证函数：
def Authens():
proxyUser = ‘xxx’
proxyPass = ‘xxx’
authen = {‘username’:proxyUser,‘password’:proxyPass}
return authen

在main函数的 await launch 中的args参数中使用Proxies()函数
‘–proxy-server=’+Proxies()

browser = await launch({
   'headless':False, 'dumpio':True, 'autoClose':False,'args':['--no-sandbox', '--window-size=1920,1080', '--disable-infobars', '--proxy-server='+Proxies()],'userDataDir': r'E:\pyppeteer_cache'})

然后添加一个身份验证：
await page.authenticate(Authens())

可以再设置一下自动更换useragent：

user_agent = [
      "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36",
      "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML like Gecko) Chrome/44.0.2403.155 Safari/537.36",
      "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36",
      "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2227.1 Safari/537.36",
      "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2227.0 Safari/537.36",
      "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2227.0 Safari/537.36",
      "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2226.0 Safari/537.36",
      "Mozilla/5.0 (Windows NT 6.4; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2225.0 Safari/537.36",
      "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2225.0 Safari/537.36",
      "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2224.3 Safari/537.36",
      "Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.93 Safari/537.36",
      "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2062.124 Safari/537.36",
      "Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2049.0 Safari/537.36",
      "Mozilla/5.0 (Windows NT 4.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2049.0 Safari/537.36",
      "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1985.67 Safari/537.36",
      "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1985.67 Safari/537.36",
      "Mozilla/5.0 (X11; OpenBSD i386) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1985.125 Safari/537.36",
      "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1944.0 Safari/537.36",
      "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.3319.102 Safari/537.36",
      "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.2309.372 Safari/537.36",
      "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.2117.157 Safari/537.36",
      "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.47 Safari/537.36",
      "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1866.237 Safari/537.36",
      "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.137 Safari/4E423F",
      "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.116 Safari/537.36 Mozilla/5.0 (iPad; U; CPU OS 3_2 like Mac OS X; en-us) AppleWebKit/531.21.10 (KHTML, like Gecko) Version/4.0.4 Mobile/7B334b Safari/531.21.10",
      <
最低0.47元/天 解锁文章
Joy and courage
关注
pyppeteer使用阿布云代理隧道问题以及代码 和代理是否成功 python3 selenium设置代理ip的实现 IP 非真人甑别
0x8g1T9E-
04-08 6589
代理写法 阿布云代理隧道代码 import random def Proxies(): proxyHost = "http-dyn.abuyun.com" proxyPort = "9020" # 代理隧道验证信息 proxyServer = "http://" + proxyHost + ":" + proxyPort return prox...
Pyppeteer使用代理IP（需要权限验证）
qq_40734108的博客
06-21 2360
来源：https://github.com/pyppeteer/pyppeteer/issues/222
pyppeteer模块经常使用的功能，相关操作案例
最新发布
06-24 1386
1.打开浏览器调用 launch 方法即可，相关参数介绍：ignoreHTTPSErrors (bool): 是否要忽略 HTTPS 的错误，默认是 False。headless (bool): 是否启用无界面模式，默认为 True。如果 devtools 这个参数是 True 的话，那么该参数就会被设置为 False。executablePath (str): 可执行文件的路径，如果指定之后就不需要使用默认的 Chromium 了，可以指定为已有的 Chrome 或 Chromium。
puppeteer代理的搭建和配置
qq_43657722的博客
07-31 1212
puppeteer代理的搭建和配置
python使用scrapy-pyppeteer中间件使用代理IP
Z_suger7的博客
04-15 808
【代码】python使用scrapy-pyppeteer中间件使用代理IP。
(Linux Mac)Puppeteer加代理爬坑(隧道代理) 加代理的两种方式(Linux Mac)
m0_37089544的博客
08-30 5366
Puppeteer 代理脱坑记 废话不多说 基本就是干货 纯实践, puppeteer版本 1.7.0 发文时是最新的 linux和mac也都是最新的chromium浏览器(https://www.chromium.org/getting-involved/download-chromium) 浏览器下载地址版本很多 找找都是! 问题: 想将puppeteer这个东西运用到实际项目当中,当然...
Python_各个代理网站/代理设置/代理池使用
十一姐的博客
04-09 3902
ip代理设置 由于同一个ip访问过于频繁，所爬网站可能会让我们输入验证码或直接封锁IP；因而使用代理隐藏真实的IP，让服务器以为是代理服务器在请求自己。这样在爬取过程中通过不断更换代理，就不会被封锁，可以达到很好的爬取效果。 免费代理网站： https://www.xicidaili.com/ 以下代码运行结果的origin是代理的ip，则证明代理已设置成功 http://httpbin.org...
python+Pyppeteer+SpringBoot验证码自动识别登录（文末附源码）
05-02
在本文中，我们将深入探讨如何使用Python的Pyppeteer库和SpringBoot框架来实现一个自动识别验证码并完成登录的功能。Pyppeteer是基于Chromium的无头浏览器库，可以方便地进行网页自动化操作，而SpringBoot是Java开发...
1.pyppeteer+scrapy开发环境搭建
11-19
本文将详细介绍如何在Windows 7环境下使用Eclipse + PyDev进行Python开发，并构建基于Pyppeteer和Scrapy的爬虫项目。Pyppeteer是一款基于Chromium的浏览器自动化工具，而Scrapy则是一个强大的Python爬虫框架。两者...
生意参谋-市场大盘，市场排行爬虫脚本，采用pyppeteer+PIL方式处理数值图片问题，人工登录，并将爬取结果保存为csv文件
09-18
生意参谋-市场大盘，市场排行爬虫脚本，采用pyppeteer+PIL方式处理数值图片问题，人工登录，并将爬取结果保存为csv文件 脚本截取： import asyncio from pyppeteer import launch from PIL import Image import ...
python爬虫神器Pyppeteer入门及使用
09-19
### Python爬虫神器Pyppeteer入门及使用 #### 前言 随着网络数据的日益增长，数据抓取成为了获取信息的重要手段之一。在众多爬虫工具中，Selenium一直占据着重要的地位，但其复杂的配置流程以及较慢的执行速度常常...
Puppeteer设置浏览器代理的三种思路
zhangge3663的博客
08-12 3750
0 背景 Puppeteer是google推出的操作浏览器的框架。当我们通过框架操作浏览器去访问页面通常需要设置代理。本文简要总结设置代理的方式。 1 通过启动参数设置代理 我们通过puppeteer启动浏览器通常可以指定参数，通过--proxy-server参数[1]指定代理。http及https请求的将通过代理服务器访问。若每次需要更换代理就需要重新通过launch方法来启动浏览器。 const browser = await puppeteer.launch({ args: [
数据获取_Pyppeteer_代理设置及超时设置
RedHot_Thinker
03-19 3346
背景：使用pyppeteer使用代理，由于没有设置超时，是系统默认超时 错误提示如： pyppeteer.errors.TimeoutError: Navigation Timeout Exceeded: 30000 ms exceeded 解决方法添加超时时间： 第一种方法： await page.setDefaultNavigationTimeout(timeout) 第二种方法： await...
python爬虫快速添加请求头、随机生成user-agent
云霄IT的博客
03-12 4667
一、快速添加请求头 import re # 下方引号内添加替换掉请求头内容 headers_str = """ accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9 accept-encoding: gzip, deflate, br accept-language: zh-
python版puppeteer——pyppeteer&selenium的加强版——seleniumwire
General_zy的博客
08-02 2359
from selenium.webdriver.common.by import By # 代理供应商 proxy_host = 'your_host' proxy_port = 'your_port' proxy_username = 'your_username' proxy_password = 'your_password' # 创建代理对象 proxy = Proxy() proxy.proxy_type = ProxyType.MANUAL。
实用教程 | 隧道代理使用方法保姆攻略
xiaozhang888888的博客
12-12 881
1.在开通隧道代理IP后，单击右上角的【控制台】，进入后台管理面板：在左侧栏目里选择【代理IP-按时业务】，找到已经开通的隧道代理业务：2.隧道代理无须提取IP，接入隧道服务即可;3.参考代码样例（具体查看各厂商的代码示例文档）请求隧道代理;4.在程序中通过调用API接口获取代理，然后请求目标网站。(1)API调用需要验证，验证方式包括密钥验证和白名单验证，根据实际使用自主选择;(2)密钥验证方式请求头带AuthKey和AuthPwd信息即可;
python使用pyppeteer详细教程
热门推荐
Pylemon Blog
04-05 1万+
文章目录介绍环境部署pip installchromium下载快速使用应用技巧启动参数优化常用的参数其他参数示例窗口/可视区最大化隐藏浏览器特征拦截请求 介绍 注意，讲解的模块叫做 Pyppeteer，不是 Puppeteer。 Puppeteer 是 Google 基于 Node.js 开发的一个工具，有了它我们可以通过 JavaScript 来控制 Chrome 浏览器的一些操作，当然也可以用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值