Python爬虫——urllib_代理和代理池

错过人间飞鸿

已于 2023-08-07 22:04:39 修改

阅读量1k

点赞数

分类专栏： Python爬虫文章标签： python 爬虫

于 2023-07-17 14:02:19 首次发布

本文链接：https://blog.csdn.net/m0_63757342/article/details/131764427

版权

Python爬虫专栏收录该内容

35 篇文章 1 订阅

订阅专栏

代理的常用功能：

突破自身IP访问限制，访问国外站点
访问一些单位或团体内部资源
提高访问速度
隐藏真实ip

代码配置代理：

创建Request对象
创建ProxyHandler对象
用handler对象创建opender对象
使用 opender.open函数发送请求

import urllib.request

url ='http://www.baidu.com/s?wd=ip'

headers = {
    'User-Agent': ''
}

proxies = {
    'http': '123.456.789.123:1234'
}

request = urllib.request.Request(url, headers=headers)

handler = urllib.request.ProxyHandler(proxies)
opender = urllib.request.build_opener((handler))
response = opender.open(request)
content = response.read().decode('utf-8')

with open('files/daili.html', 'w', encoding='utf-8') as fp:
    fp.write(content)

代理池：代理池就是有代理IP组成的池子, 它可以提供多个稳定可用的代理IP

import urllib.request
import random

url ='http://www.baidu.com/s?wd=ip'

headers = {
    'User-Agent': ''
}

proxies_pool = [
    {'http': '123.456.789.123:1234'},
    {'http': '123.456.789.123:3456'},
    {'http': '123.456.789.123:5678'}
]

proxies = random.choice(proxies_pool)

request = urllib.request.Request(url, headers=headers)
# response = urllib.request.urlopen(request)

handler = urllib.request.ProxyHandler(proxies)
opender = urllib.request.build_opener((handler))
response = opender.open(request)
content = response.read().decode('utf-8')

with open('files/daili.html', 'w', encoding='utf-8') as fp:
    fp.write(content)