python selenium selenium-wire使用代理

已于 2024-09-28 18:36:15 修改
阅读量1.4k 收藏 10
点赞数 30
文章标签： python selenium selenium-wire 爬虫 代理
于 2024-07-28 00:12:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41934979/article/details/140431996
版权

前言

最近使用selenium、selenium-wire爬取数据，在使用代理时查阅很多资料，在使用过程中发现很多资料、博客中都是错误的用法，误导初学selenium使用代理的开发者

描述：

我这里使用的是Python 3.12.2   selenium==4.23.1   selenium-wire==5.1.0

1.selenium使用代理

1.1核心代码

注意这里是python selenium使用代理的方法(原生selenium)，亲测selenium-wire不可以这么用，这么用使用代理是不生效的，有些博客上说selenium-wire使用下面的写法不报错，完全是误导大家，selenium-wire使用下面的写法，根本就没使用代理ip(没连接代理ip)，又怎么能报错？

建议大家使用稳定的、支持https的代理ip,支持https的代理才能访问https的网站，不要使用免费代理，懂的都懂

写法一

ip_port = '117.86.185.68:8089'  # 这里是你使用的代理ip和端口
options.add_argument(f"--proxy-server={ip_port}")  # options.add_argument("--proxy-server=117.86.185.68:8089")

写法二

ip_port = '117.86.185.68:8089'  # 这里是你使用的代理ip和端口
options.add_argument(f"--proxy-server=http://{ip_port}")  # options.add_argument("--proxy-server=http://117.86.185.68:8089")

1.2检验是否使用代理

try:
    url = "https://httpbin.org/ip"
    driver.get(url)
    print(driver.page_source)
except Exception as e:
    print(e)
finally:
    driver.quit()

1.3完整代码

chrome浏览器(chromium), chrome-win里面包含chrome和chromedriver(个人整理的)，浏览器版本和chromedriver版本一致 114.0.5735.90 ,如有需要可自行提取

链接：https://pan.baidu.com/s/1vv6AfmCBFx8QDA7RE2VrIg 
提取码：6666

import os

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options

# 当前文件所在的文件夹路径
current_path = os.getcwd()
# chrome浏览器路径
chrome_location = os.path.join(current_path, 'chrome-win')
# chrome.exe完整路径
browser_location = os.path.join(chrome_location, 'chrome.exe')
# chromedriver.exe的完整路径
driver_location = os.path.join(chrome_location, 'chromedriver.exe')
# 创建一个Servic对象，传入ChromeDriver的路径
service = Service(driver_location)
# 创建Chrome选项
options = Options()
# options.add_argument("--headless") # 无头模式(无界面)
# 禁用图片
# options.add_argument('blink-settings=imagesEnabled=false')
# option设置，传入Chrome浏览器的路径(chrome.exe完整路径)
options.binary_location = browser_location
# 不显示 Chrom正受到自动测试软件控制
options.add_experimental_option("excludeSwitches", ['enable-automation'])
ip_port = '117.86.185.68:8089'  # 这里是你使用的代理ip和端口
options.add_argument(f"--proxy-server={ip_port}")  # options.add_argument("--proxy-server=117.86.185.68:8089")
# 创建 Chrome 浏览器驱动对象
driver = webdriver.Chrome(service=service, options=options)
# driver.set_page_load_timeout(15) # 设置页面加载超时时间为15秒
# driver.set_script_timeout(15)  # 设置js加载超时时间为15秒
try:
    url = "https://httpbin.org/ip"
    driver.get(url)
    print(driver.page_source)
except Exception as e:
    print(e)
finally:
    driver.quit()

2.selenium-wire使用代理

2.1核心代码

方式一(浏览器启动前配置)

seleniumwire_options={
    'proxy': {
        'http': 'http://180.127.3.147:8090', # 这里使用自己的代理ip和端口
        'https': 'https://180.127.3.147:8090',# 这里使用自己的代理ip和端口
        'no_proxy': 'localhost,127.0.0.1'
    }
}
# 创建 Chrome 浏览器驱动对象
driver = webdriver.Chrome(service=service, options=options, seleniumwire_options=seleniumwire_options)

方式二(动态切换)

# 创建 Chrome 浏览器驱动对象
driver = webdriver.Chrome(service=service, options=options)
# selenium-wire使用代理方式二(动态切换)
driver.proxy = {
    'http': 'http://180.127.3.147:8090',
    'https': 'https://180.127.3.147:8090'
}

 2.2检验是否使用代理

try:
    url = "https://httpbin.org/ip"
    driver.get(url)
    print(driver.page_source)
except Exception as e:
    print(e)
finally:
    driver.quit()

2.3完整代码 

import os

from seleniumwire import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options

# 当前文件所在的文件夹路径
current_path = os.getcwd()
# chrome浏览器路径
chrome_location = os.path.join(current_path, 'chrome-win')
# chrome.exe完整路径
browser_location = os.path.join(chrome_location, 'chrome.exe')
# chromedriver.exe的完整路径
driver_location = os.path.join(chrome_location, 'chromedriver.exe')
# 创建一个Servic对象，传入ChromeDriver的路径
service = Service(driver_location)
# 创建Chrome选项
options = Options()
# options.add_argument("--headless") # 无头模式(无界面)
# 禁用图片
# options.add_argument('blink-settings=imagesEnabled=false')
# option设置，传入Chrome浏览器的路径(chrome.exe完整路径)
options.binary_location = browser_location
# 不显示 Chrom正受到自动测试软件控制
options.add_experimental_option("excludeSwitches", ['enable-automation'])
# # selenium-wire使用代理方式一
# seleniumwire_options = {
#     'proxy': {
#         'http': 'http://180.127.3.147:8090',  # 这里使用自己的代理ip和端口
#         'https': 'https://180.127.3.147:8090',  # 这里使用自己的代理ip和端口
#         'no_proxy': 'localhost,127.0.0.1'
#     }
# }
# 创建 Chrome 浏览器驱动对象
driver = webdriver.Chrome(service=service, options=options)
# selenium-wire使用代理方式二(动态切换)
driver.proxy = {
    'http': 'http://180.127.3.147:8090',
    'https': 'https://180.127.3.147:8090'
}
# driver.set_page_load_timeout(15) # 设置页面加载超时时间为15秒
# driver.set_script_timeout(15)  # 设置js加载超时时间为15秒
try:
    url = "https://httpbin.org/ip"
    driver.get(url)
    print(driver.page_source)
except Exception as e:
    print(e)
finally:
    driver.quit()

3.使用代理插件Selenium-Chrome-HTTP-Private-Proxy

3.1创建插件的方法(此方法可以封装在工具类里使用)

import string
import zipfile


# 创建chrome浏览器插件的方法
def create_proxyauth_extension(proxy_host, proxy_port, proxy_username, proxy_password, scheme='http', plugin_path=None):
    """Proxy Auth Extension
    args:
        proxy_host (str): domain or ip address, ie proxy.domain.com
        proxy_port (int): port
        proxy_username (str): auth username
        proxy_password (str): auth password
    kwargs:
        scheme (str): proxy scheme, default http
        plugin_path (str): absolute path of the extension
    return str -> plugin_path
    """
    if plugin_path is None:
        plugin_path = 'Selenium-Chrome-HTTP-Private-Proxy.zip'
    manifest_json = """
    {
        "version": "1.0.0",
        "manifest_version": 2,
        "name": "Chrome Proxy",
        "permissions": [
            "proxy",
            "tabs",
            "unlimitedStorage",
            "storage",
            "<all_urls>",
            "webRequest",
            "webRequestBlocking"
        ],
        "background": {
            "scripts": ["background.js"]
        },
        "minimum_chrome_version":"22.0.0"
    }
    """
    background_js = string.Template(
        """
        var config = {
                mode: "fixed_servers",
                rules: {
                  singleProxy: {
                    scheme: "${scheme}",
                    host: "${host}",
                    port: parseInt(${port})
                  },
                  bypassList: ["foobar.com"]
                }
              };
        chrome.proxy.settings.set({value: config, scope: "regular"}, function() {});
        function callbackFn(details) {
            return {
                authCredentials: {
                    username: "${username}",
                    password: "${password}"
                }
            };
        }
        chrome.webRequest.onAuthRequired.addListener(
                    callbackFn,
                    {urls: ["<all_urls>"]},
                    ['blocking']
        );
        """
    ).substitute(
        host=proxy_host,
        port=proxy_port,
        username=proxy_username,
        password=proxy_password,
        scheme=scheme,
    )
    with zipfile.ZipFile(plugin_path, 'w') as zp:
        zp.writestr("manifest.json", manifest_json)
        zp.writestr("background.js", background_js)

    return plugin_path

 3.2核心代码

proxy_config = ["125.112.183.182", "8090", "", ""]
proxyauth_plugin_path = create_proxyauth_extension(
        proxy_host=proxy_config[0],
        proxy_port=proxy_config[1],
        proxy_username=proxy_config[2],
        proxy_password=proxy_config[3]
    )
# 浏览器添加扩展插件
options.add_extension(proxyauth_plugin_path)
driver = webdriver.Chrome(service=service, options=options)

3.3 完整代码

我这里为方便演示，创建浏览插件的方法(create_proxyauth_extension)就写在一起了，建议create_proxyauth_extension方法封装成一个工具类来调用，可以提高代码的可阅读性和整洁性

selenium和selenium-wire使用浏览器代理插件用法是一样

import os
import string
import zipfile

# from seleniumwire import webdriver
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options

# 创建chrome浏览器插件的方法
def create_proxyauth_extension(proxy_host, proxy_port, proxy_username, proxy_password, scheme='http', plugin_path=None):
    """Proxy Auth Extension
    args:
        proxy_host (str): domain or ip address, ie proxy.domain.com
        proxy_port (int): port
        proxy_username (str): auth username
        proxy_password (str): auth password
    kwargs:
        scheme (str): proxy scheme, default http
        plugin_path (str): absolute path of the extension
    return str -> plugin_path
    """
    if plugin_path is None:
        plugin_path = 'Selenium-Chrome-HTTP-Private-Proxy.zip'
    manifest_json = """
    {
        "version": "1.0.0",
        "manifest_version": 2,
        "name": "Chrome Proxy",
        "permissions": [
            "proxy",
            "tabs",
            "unlimitedStorage",
            "storage",
            "<all_urls>",
            "webRequest",
            "webRequestBlocking"
        ],
        "background": {
            "scripts": ["background.js"]
        },
        "minimum_chrome_version":"22.0.0"
    }
    """
    background_js = string.Template(
        """
        var config = {
                mode: "fixed_servers",
                rules: {
                  singleProxy: {
                    scheme: "${scheme}",
                    host: "${host}",
                    port: parseInt(${port})
                  },
                  bypassList: ["foobar.com"]
                }
              };
        chrome.proxy.settings.set({value: config, scope: "regular"}, function() {});
        function callbackFn(details) {
            return {
                authCredentials: {
                    username: "${username}",
                    password: "${password}"
                }
            };
        }
        chrome.webRequest.onAuthRequired.addListener(
                    callbackFn,
                    {urls: ["<all_urls>"]},
                    ['blocking']
        );
        """
    ).substitute(
        host=proxy_host,
        port=proxy_port,
        username=proxy_username,
        password=proxy_password,
        scheme=scheme,
    )
    with zipfile.ZipFile(plugin_path, 'w') as zp:
        zp.writestr("manifest.json", manifest_json)
        zp.writestr("background.js", background_js)

    return plugin_path


current_path = os.getcwd()  # 当前文件所在的文件夹路径
# 指定谷歌的位置
chrome_location = os.path.join(current_path, 'chrome-win')
# chrome.exe完整路径
browser_location = os.path.join(chrome_location, 'chrome.exe')
# ChromeDriver的完整路径
driver_location = os.path.join(chrome_location, 'chromedriver.exe')
# 创建一个Servic对象，传入ChromeDriver的路径
service = Service(driver_location)
# 创建Chrome选项
options = Options()
# option设置，传入Chrome浏览器的路径
options.binary_location = browser_location
# 不显示 Chrom正受到自动测试软件控制
options.add_experimental_option("excludeSwitches", ['enable-automation'])

# 代理ip,端口，账号，密码，有账号密码的就填写账号密码，没有空着即可
proxy_config = ["125.112.183.182", "8090", "", ""]
proxyauth_plugin_path = create_proxyauth_extension(
        proxy_host=proxy_config[0],
        proxy_port=proxy_config[1],
        proxy_username=proxy_config[2],
        proxy_password=proxy_config[3]
    )
# 浏览器添加扩展插件
options.add_extension(proxyauth_plugin_path)
driver = webdriver.Chrome(service=service, options=options)
# driver.set_page_load_timeout(10)
# driver.set_script_timeout(8)
try:
    url = "https://httpbin.org/ip"
    driver.get(url)
    print(driver.page_source)
except Exception as e:
    print(e)
finally:
    driver.quit()

 

4.加上代理后(关闭webrtc)

其实你加上了代理也等于白加了 因为网页使用了一种叫WebRTC的技术识别出了你本地电脑真实IP 

4.1使用完代理后查看是否关闭了WebRTC 

访问：https://browserleaks.com/ip 查看是否关闭了webrtc

url = "https://browserleaks.com/ip"
driver.get(url)

 

 此时WebRTC显示出本地电脑的真实ip，说明未关闭WebRTC

 4.2 selenium/seleniumwire关闭WebRTC 

# 关闭webrtc
preferences = {
        "webrtc.ip_handling_policy": "disable_non_proxied_udp",
        "webrtc.multiple_routes_enabled": False,
        "webrtc.nonproxied_udp_enabled": False
}
options.add_experimental_option("prefs", preferences)
driver = webdriver.Chrome(service=service, options=options)

 关闭后访问上面链接检测

源代码地址：https://gitee.com/jxzcode_admin/flask-project.git

参考资料 

https://pypi.org/project/selenium-wire/#socks

https://blog.csdn.net/zwq912318834/article/details/78626739

https://www.cnblogs.com/roystime/p/6935543.html

https://zhuanlan.zhihu.com/p/296853352

weixin_41934979
关注
SeleniumWire使用
Circle-C的博客
05-04 1261
Selenium Wire扩展了Selenium的Python绑定，使您能够访问浏览器发出的底层请求。您以与使用Selenium相同的方式编写代码，但是您获得了额外的api，用于检查请求和响应，并动态地对它们进行更改。Selenium Wire的工作原理是将浏览器流量重定向到它在后台运行的内部代理服务器。当请求流经代理服务器时，它们被拦截和捕获。捕获请求可能会使事情变慢，但你可以做一些事情来限制被捕获的内容。Selenium Wire简单介绍。
selenium使用代理IP_python selenium4 使用代理
m0_60607371的博客
04-12 1207
Win64;ops.add_argument(‘–proxy-server=http://%s’ % a) #添加代理driver = webdriver.Chrome(r’D:\360安全浏览器下载\chromedriver.exe’)api_url = ‘让你复制的代理api链接’a = driver.find_element_by_xpath(‘/html/body/pre’).text # 获取代理。
[1296]selenium配置带用户名和密码的隧道代理
最新发布
周小董
08-06 959
参数不支持设置用户名和密码认证。一种变通的方式就是采用IP地址认证，但在国内网络环境下，大多数用户都采用ADSL形式网络接入，IP是变化的，也无法采用IP地址绑定认证。因此迫切需要找到一种让Chrome自动实现HTTP代理用户名密码认证的方案。参考：https://blog.csdn.net/crayonjingjing/article/details/137596882。鲲之鹏的技术人员在此思路的基础上用Python实现了自动化的Chrome插件创建过程，即根据指定的代理。默认情况下，Chrome的。
学了那么久Python还什么都做不了，我觉得你该试试这个方法了
热门推荐
龙叔的博客
11-08 1万+
答应我，别再做无用功了
python 之 selenium代理设置、无头浏览器设置、页面等待的三种方式
风华浪浪的博客
06-07 5258
Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，Selenium 可以直接运行在浏览器上，它支持所有主流的浏览器，可以接收指令，让浏览器自动加载页面，获取需要的数据，也可以页面截屏。显式等待指定某个条件，然后设置最长等待时间。，将浏览器对象放进去，等待10秒，每隔0.5秒去定位一下想要的元素(此处通过id形式，拿。就是简单地设置一个最大等待时间，单位为秒, 所有的元素定位操作都会使用该时间。为了提高脚本的稳定性，我们需要在脚本中增加等待时间，否则报错。elenium执行js。
selenium使用代理IP
m0_54853503的博客
06-12 1万+
如果一个用户对某个网站多次的访问，有可能会被识别为爬虫，因而限制其客户端 ip 的访问，对于一些比较正规的网站，反爬系统很强，最容易出现这种情况，所以有时候有必要使用代理IP，我一般选择使用随机动态的代理ip,这样可以保证每次访问时随机的一个用户而不是一个固定的用户。话不多说，注册IPIDEA进去，注册就送免费的100M流量，有特殊需求不够再买： 生成API: 点击生成链接 复制链接包存起来，等会用。 设置代理基本格式： 我想了半天没想好到底哪些网站反爬强，所以我就随便找一个网站来测试了，你可以再去尝试逛一
Python爬虫进阶 - win和linux下selenium使用代理
爱意随风起，风止意难平
02-20 3412
selenium各种情况讨论。双系统各自的selenium配置和基本使用，以及selenium在服务器以有界面方式运行。
Python库 | selenium-wire-4.1.1.tar.gz
05-22
资源分类：Python库 所属语言：Python 资源全名：selenium-wire-4.1.1.tar.gz 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
Python库 | selenium_wire-1.0.12-py3-none-any.whl
04-03
资源分类：Python库 所属语言：Python 资源全名：selenium_wire-1.0.12-py3-none-any.whl 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
selenium-wire：扩展了Selenium的Python绑定，使您能够检查浏览器发出的请求
02-06
**Selenium-Wire：Python测试中的网络监控利器** 在Python测试领域，Selenium是一个广泛使用的自动化测试工具，它允许开发者模拟用户与Web浏览器的交互。然而，标准的Selenium绑定通常无法捕获或控制浏览器发出的...
selenium-selenium-4.5.0.zip源码
10-24
2. **JsonWireProtocol 和 W3C WebDriver 协议**: Selenium 使用这两种协议与浏览器通信。JsonWireProtocol 是早期的协议，而 W3C WebDriver 协议是更现代的标准，提供了更健壮和跨平台的兼容性。源码中可以看到这些...
selenium_代理设置.py
08-12
selenium_代理设置的具体流程的代码实现，用时可以完全copy
selenium使用代理
youngunclle的博客
11-23 1782
获取代理ip访问指定网站并记录访问速度，成功率，真实访问ip import json from selenium import webdriver import requests class A(): def __init__(self): self.url = 'yoururl' def get_prosy_ip(self): response = requests.post(self.url) print(response)
python 23 selenium高级和使用代理
woaixuexi6666的博客
08-17 5540
selenuim
selenium怎么使用代理IP
这家伙很懒，什么都没有留下
07-10 3748
Selenium 是一个自动化测试框架，用于测试 Web 应用程序的功能性。它支持多个编程语言（如Java，Python，C#等）并且可以在操作系统和不同浏览器上运行测试。Selenium 可以模拟用户在浏览器中的操作，包括点击、输入文本、选择下拉选项等。它可以用于执行各种测试任务，如功能测试、回归测试、性能测试等，并提供了丰富的 API 和工具，方便开发人员编写和管理测试用例。
selenium添加代理（有账号密码）
crayonjingjing的博客
04-10 2679
1，导入Proxy库来添加capabilities属性：可以访问网站，但ip还是本机ip。
python seleuimn 添加代理
weixin_59685936的博客
08-03 169
python seleuimn 添加代理
Selenium 如何使用代理 IP 进行 Web 爬虫（包括无认证实现、有账号密码认证实现）
Lorin 洛林的后端技术小站
01-02 3278
本文介绍了 Selenium 使用无账号和有账号密码进行代理爬虫的方式，无账号密码主要基于浏览器 --proxy-server 参数实现，而有账号密码的方式基于 Selenium-Chrome-HTTP-Private-Proxy 插件实现；同时分享了一种免费获取代理IP的方式（一连代理），感兴趣的朋友可以试试。
python selenium 爬虫，使用代理 ，和 python 爬取代理网站，保存ip
活到老学到老
12-05 4017
selenium 使用代理 import time from selenium import webdriver # 使用代理 options = webdriver.ChromeOptions() options.add_argument("--proxy-server=http://101.37.79.125:3128") dri...
selenium-wire设置网关
03-04
要使用Selenium-Wire设置代理，您可以按照以下步骤进行操作： 1. 安装Selenium-Wire：使用pip命令安装Selenium-Wire库，如下所示： ``` pip install selenium-wire ``` 2. 导入库：在Python代码中导入Selenium-Wire库，如下所示： ```python from seleniumwire import webdriver ``` 3. 创建一个新的WebDriver：创建一个新的WebDriver对象，如下所示： ```python options = { 'proxy': { 'http': 'http://<proxy_host>:<proxy_port>', 'https': 'https://<proxy_host>:<proxy_port>', 'no_proxy': 'localhost,127.0.0.1' # 如果需要，可以添加其他不需要代理的地址 } } driver = webdriver.Chrome(seleniumwire_options=options) ``` 请注意，将 `<proxy_host>` 和 `<proxy_port>` 替换为代理服务器的主机名和端口号。 4. 进行网页浏览：使用WebDriver对象进行网页浏览，如下所示： ```python driver.get('https://www.example.com') ``` 这些步骤将帮助您使用Selenium-Wire设置代理并进行网页浏览。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值