proxy & proxy池 （代理服务器）python中的爬虫用法

代理流程

代理服务器相关网站

• 米扑
• 三一代理
• 快代理
• 等等...

代码中使用代理

#!/usr/bin/python
# -*- coding: utf-8 -*-

# 1. 导入模块
import requests

# 2. 请求数据获取响应
url = 'http://www.baidu.com'

# 自定义请求头
headers = {
    "User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.170 Safari/537.36"
}

# 定义代理
proxies = {
    "http":"http://115.223.248.161:9000"
}

response = requests.get(url,headers=headers,proxies=proxies)

# 打印一下 url 地址
print(response.text)