Selenium使用亿牛云爬虫代理的方案

最新推荐文章于 2020-08-16 19:35:22 发布

Laicaling

最新推荐文章于 2020-08-16 19:35:22 发布

阅读量360

点赞数

分类专栏：数据采集爬虫代理 http代理网络爬虫文章标签：亿牛云动态IP

本文链接：https://blog.csdn.net/Laicaling/article/details/88355316

版权

本文介绍了如何使用Selenium与亿牛云的动态IP服务进行网络爬虫，通过Python代码展示了如何设置和使用代理进行网页抓取。

摘要由CSDN通过智能技术生成

from selenium import webdriver
import string
import zipfile

# 代理服务器
proxyHost = "t.16yun.cn"
proxyPort = "31111"

# 代理隧道验证信息
proxyUser = "username"
proxyPass = "password"

def create_proxy_auth_extension(proxy_host, proxy_port,
                               proxy_username, proxy_password,
                               scheme='http', plugin_path=None):
    if plugin_path is None:
        plugin_path = r'C:/{}_{}@t.16yun.zip'.format(proxy_username, proxy_password)

    manifest_json = """
    {
        "version": "1.0.0",
        "manifest_version": 2,
        "name": "16YUN Proxy",
        "permissions": [
            "proxy",
            "tabs",
            "unlimitedStorage",
            "storage",
            "",
            "webRequest",
            "webRequ