在 Python 中使用代理简介

系列文章目录

代理是您的设备和互联网之间的中介，它在您和服务器之间转发请求，同时掩盖您的 IP 地址。在本博客中，我们将探讨什么是代理，为什么代理对开发人员有用，以及如何使用请求库在 Python 中使用代理。

一、什么是代理？

代理是您与互联网之间的中介。当您通过代理服务器连接网站时，您的请求会先通过代理服务器，然后由代理服务器转发给网站。网站的回复会按照同样的路径返回给您。在此过程中，它可以提高隐私性、安全性和性能。

关于代理

以下是您在使用代理时可能会看到的一些常用术语：

轮换代理——轮换代理网络借助先进的代理轮换功能，让您在每次提出新请求时都能毫不费力地切换到新的代理。
HTTP(S)——安全超文本传输协议（HTTPS）是 HTTP 的安全版本，是用于在您和目标网站之间发送数据的协议。
动态住宅代理——真实移动和台式机设备的唯一住宅 IP 地址。遇到验证码的几率极低，成功率最高。
城市和国家级目标定位——位于全球各地的代理服务器允许您从任何国家或城市访问内容。

二、为什么使用代理？

隐私和匿名——代理可以隐藏您的 IP 地址，使网站更难跟踪您的在线活动。
访问控制——使用代理可以绕过地理限制，访问您所在地区无法访问的内容。
负载平衡——反向代理可以在多个服务器之间分配流量，改善负载时间，减少服务器过载。
安全性——反向代理可以过滤恶意内容，防止直接访问您的网络，从而提供一层安全保护。

三、Smartdaili 代理的优势

以下是 Smartdaili 的一些优势：

全球覆盖：您可以从超过195个国家的任意地点访问代理，包括世界上的任何城市和美国50个州。
匿名代理：使用我们的匿名代理安全上网，确保您的真实IP地址和位置不会泄露。
动态住宅代理：提供使用真实移动和台式设备的独特住宅IP地址，大大降低遇到验证码的几率，并且成功率最高。
独立IP：住宅代理服务器不共享子网，避免批量封禁。每个住宅IP地址都是独一无二的。
无限线程：支持高级轮换和无限线程，方便进行搜索或自动化操作。
反向连接代理：我们的住宅反向连接代理为每个连接轮换新的IP地址，或者让您使用无限的粘性IP会话。
IPv4地址：使用IPv4地址轻松访问任何目标。
全天候客户支持：我们提供经验丰富的全天候技术支持，平均响应时间为1分钟。
数据中心代理：位于美国的数据中心代理提供无与伦比的速度和可扩展性。
安全连接：支持HTTP(S)协议，确保您的连接安全加密。
退款保障：享受最高性能的服务，如有不满意，购买我们的代理或刮擦工具后可在14天内申请退款。

四、如何获取代理服务器

1. 注册 Smartdaili 面板。
   
2. 在右侧菜单栏中选择符合您需求的代理类型。
   
   3。选择适合您需要的代理和计划。
   
3. 打开代理设置选项卡。
4. 导航到下面的端点生成器。
5. 配置参数。设置身份验证方法、位置、会话类型和协议。
6. 选择要生成的代理端点数量（默认 -10）。
7. 点击复制按钮复制端点。
8. 获取代理并开始编码！

五、在 Python 中使用代理与 “请求 ”库

Python 中的 “请求 ”库能让你轻松使用代理。下面是如何设置和使用代理的分步指南。

设置
在深入学习代码之前，请确保已经安装了所需的库。您可以使用 pip 安装它们：

pip install requests beautifulsoup4

使用代理进行网络搜刮的分步指南

1. 导入所需程序库
   首先，导入必要的库

import requests
from bs4 import BeautifulSoup
import time

2. 定义代理证书
   设置代理证书和代理 URL：

username = 'username'
password = 'password'
proxy_host = 'gate.visitxiangtan.com'
proxy_port = '10001'

proxy = f"http://{username}:{password}@{proxy_host}:{proxy_port}"

3. 获取代理的函数
   定义一个函数来设置代理：

def get_proxy():
    return {
        'http': proxy,
        'https': proxy
    }

4. 网页抓取功能
   创建一个函数，使用代理从目标网站抓取数据：

def scrape_data(url):

    proxy = get_proxy()

    try:
        response = requests.get(url, proxies=proxy, timeout=10)
        response.raise_for_status()
        soup = BeautifulSoup(response.content, 'html.parser')
        print(soup)
        # Modify the following line to find the data you need

    except requests.RequestException as e:
        print(f"Error: {e}")
        time.sleep(5)  # Wait before retrying
        scrape_data(url)  # Retry the request

5. 主函数

定义主函数以指定目标 URL 并调用刮擦函数：

if __name__ == "__main__":
    url = 'https://ip.smartproxy.com/json
'  # Replace with the actual URL
    scrape_data(url)

将所有内容整合在一起

下面是完整的脚本：

import requests
from bs4 import BeautifulSoup

import time

# Proxy credentials and URL
username = 'username'
password = 'password'
proxy_host = 'gate.visitxiangtan.com'
proxy_port = '10001'

proxy = f"http://{username}:{password}@{proxy_host}:{proxy_port}"

# Function to get the proxy
def get_proxy():
    return {
        'http': proxy,
        'https': proxy
    }

# Function to scrape data from a website
def scrape_data(url):

    proxy = get_proxy()
    
    try:
        response = requests.get(url, proxies=proxy, timeout=10)
        response.raise_for_status()
        soup = BeautifulSoup(response.content, 'html.parser')
        print(soup)

    except requests.RequestException as e:
        print(f"Error: {e}")
        time.sleep(5)  # Wait before retrying
        scrape_data(url)  # Retry the request

if __name__ == "__main__":
    url = 'https://ip.smartproxy.com/json
'  # Replace with the actual URL
    scrape_data(url)

---

总结

代理是增强隐私、绕过地理限制和提高安全性的强大工具。使用 Python 中的 “请求 ”库，您可以轻松设置和管理网络请求的代理。通过结合错误处理和代理轮换，您可以使脚本更高效、更可靠。

您可以使用 Smartdaili 代理尝试这些示例，并根据自己的具体需求进行调整。祝您编码愉快！