python异步爬虫下载_Python3 异步代理爬虫池

最新推荐文章于 2023-08-24 09:09:16 发布
最新推荐文章于 2023-08-24 09:09:16 发布
阅读量1.5k 收藏 1
点赞数
文章标签： python异步爬虫下载
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_33512578/article/details/112988272
版权

项目地址：chenjiandongx/async-proxy-pool​github.come2df138ab5fd3b7891a75c6ace11feec.png

Async Proxy Pool

异步爬虫代理池，以 Python asyncio 为基础，旨在充分利用 Python 的异步性能。

运行环境

项目使用了 sanic，一个异步网络框架。所以建议运行 Python 环境为 Python3.5+，并且 sanic 不支持 Windows 系统，Windows 用户(比如我 )可以考虑使用 Ubuntu on Windows。

如何使用

安装 Redis

项目数据库使用了 Redis，Redis 是一个开源(BSD 许可)的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。所以请确保运行环境已经正确安装了 Redis。安装方法请参照官网指南。

下载项目源码

$ git clone https://github.com/chenjiandongx/async-proxy-pool.git

安装依赖

使用 requirements.txt

$ pip install -r requirements.txt

使用 pipenv Pipfile

$ pipenv install

配置文件

配置文件 config.py，保存了项目所使用到的所有配置项。如下所示，用户可以根据需求自行更改。不然按默认即可。

#!/usr/bin/env python

# coding=utf-8

# 请求超时时间(秒)

REQUEST_TIMEOUT = 15

# 请求延迟时间(秒)

REQUEST_DELAY = 0

# redis 地址

REDIS_HOST = "localhost"

# redis 端口

REDIS_PORT = 6379

# redis 密码

REDIS_PASSWORD = None

# redis set key

REDIS_KEY = "proxies"

# redis 连接池最大连接量

REDIS_MAX_CONNECTION = 20

# REDIS SCORE 最大分数

MAX_SCORE = 10

# REDIS SCORE 最小分数

MIN_SCORE = 0

# REDIS SCORE 初始分数

INIT_SCORE = 9

# sanic web host

SANIC_HOST = "localhost"

# sanic web port

SANIC_PORT = 3289

# 是否开启 sanic 日志记录

SANIC_ACCESS_LOG = True

# 批量测试数量

VALIDATOR_BATCH_COUNT = 256

# 校验器测试网站，可以定向改为自己想爬取的网站，如新浪，知乎等

VALIDATOR_BASE_URL = "https://httpbin.org/"

# 校验器循环周期(分钟)

VALIDATOR_RUN_CYCLE = 15

# 爬取器循环周期(分钟)

CRAWLER_RUN_CYCLE = 30

# 请求 headers

HEADERS = {

"X-Requested-With": "XMLHttpRequest",

"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 "

"(KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36",

}

运行项目

运行客户端，启动收集器和校验器

# 可设置校验网站环境变量 set/export VALIDATOR_BASE_URL="https://example.com"

$ python client.py

2018-05-16 23:41:39,234 - Crawler working...

2018-05-16 23:41:40,509 - Crawler √ http://202.83.123.33:3128

2018-05-16 23:41:40,509 - Crawler √ http://123.53.118.122:61234

2018-05-16 23:41:40,510 - Crawler √ http://212.237.63.84:8888

2018-05-16 23:41:40,510 - Crawler √ http://36.73.102.245:8080

2018-05-16 23:41:40,511 - Crawler √ http://78.137.90.253:8080

2018-05-16 23:41:40,512 - Crawler √ http://5.45.70.39:1490

2018-05-16 23:41:40,512 - Crawler √ http://117.102.97.162:8080

2018-05-16 23:41:40,513 - Crawler √ http://109.185.149.65:8080

2018-05-16 23:41:40,513 - Crawler √ http://189.39.143.172:20183

2018-05-16 23:41:40,514 - Crawler √ http://186.225.112.62:20183

2018-05-16 23:41:40,514 - Crawler √ http://189.126.66.154:20183

...

2018-05-16 23:41:55,866 - Validator working...

2018-05-16 23:41:56,951 - Validator × https://114.113.126.82:80

2018-05-16 23:41:56,953 - Validator × https://114.199.125.242:80

2018-05-16 23:41:56,955 - Validator × https://114.228.75.17:6666

2018-05-16 23:41:56,957 - Validator × https://115.227.3.86:9000

2018-05-16 23:41:56,960 - Validator × https://115.229.88.191:9000

2018-05-16 23:41:56,964 - Validator × https://115.229.89.100:9000

2018-05-16 23:41:56,966 - Validator × https://103.18.180.194:8080

2018-05-16 23:41:56,967 - Validator × https://115.229.90.207:9000

2018-05-16 23:41:56,968 - Validator × https://103.216.144.17:8080

2018-05-16 23:41:56,969 - Validator × https://117.65.43.29:31588

2018-05-16 23:41:56,971 - Validator × https://103.248.232.135:8080

2018-05-16 23:41:56,972 - Validator × https://117.94.69.166:61234

2018-05-16 23:41:56,975 - Validator × https://103.26.56.109:8080

...

运行服务器，启动 web 服务

$ python server.py

[2018-05-16 23:36:22 +0800] [108] [INFO] Goin' Fast @ http://localhost:3289

[2018-05-16 23:36:22 +0800] [108] [INFO] Starting worker [108]

总体架构

项目主要几大模块分别是爬取模块，存储模块，校验模块，调度模块，接口模块。

负责爬取代理网站，并将所得到的代理存入到数据库，每个代理的初始化权值为 INIT_SCORE。

封装了 Redis 操作的一些接口，提供 Redis 连接池。

验证代理 IP 是否可用，如果代理可用则权值 +1，最大值为 MAX_SCORE。不可用则权值 -1，直至权值为 0 时将代理从数据库中删除。

负责调度爬取器和校验器的运行。

使用 sanic 提供 WEB API 。

/

欢迎页面

$ http http://localhost:3289/

HTTP/1.1 200 OK

Connection: keep-alive

Content-Length: 42

Content-Type: application/json

Keep-Alive: 5

{

"Welcome": "This is a proxy pool system."

}

/pop

随机返回一个代理，分三次尝试。尝试返回权值为 MAX_SCORE，也就是最新可用的代理。

尝试返回随机权值在 (MAX_SCORE -3) - MAX_SCORE 之间的代理。

尝试返回权值在 0 - MAX_SCORE 之间的代理

$ http http://localhost:3289/pop

HTTP/1.1 200 OK

Connection: keep-alive

Content-Length: 38

Content-Type: application/json

Keep-Alive: 5

{

"http": "http://46.48.105.235:8080"

}

/get/

返回指定数量的代理，权值从大到小排序。

$ http http://localhost:3289/get/10

HTTP/1.1 200 OK

Connection: keep-alive

Content-Length: 393

Content-Type: application/json

Keep-Alive: 5

[

{

"http": "http://94.177.214.215:3128"

},

{

"http": "http://94.139.242.70:53281"

},

{

"http": "http://94.130.92.40:3128"

},

{

"http": "http://82.78.28.139:8080"

},

{

"http": "http://82.222.153.227:9090"

},

{

"http": "http://80.211.228.238:8888"

},

{

"http": "http://80.211.180.224:3128"

},

{

"http": "http://79.101.98.2:53281"

},

{

"http": "http://66.96.233.182:8080"

},

{

"http": "http://61.228.45.165:8080"

}

]

/count

返回代理池中所有代理总数

$ http http://localhost:3289/count

HTTP/1.1 200 OK

Connection: keep-alive

Content-Length: 15

Content-Type: application/json

Keep-Alive: 5

{

"count": "698"

}

/count/

返回指定权值代理总数

$ http http://localhost:3289/count/10

HTTP/1.1 200 OK

Connection: keep-alive

Content-Length: 15

Content-Type: application/json

Keep-Alive: 5

{

"count": "143"

}

/clear/

删除权值小于等于 score 的代理

$ http http://localhost:3289/clear/0

HTTP/1.1 200 OK

Connection: keep-alive

Content-Length: 22

Content-Type: application/json

Keep-Alive: 5

{

"Clear": "Successful"

}

扩展爬取网站

在 crawler.py 文件里新增你自己的爬取方法。

class Crawler:

@staticmethod

def run():

...

# 新增你自己的爬取方法

@staticmethod

@collect_funcs # 加入装饰器用于最后运行函数

def crawl_xxx():

# 爬取逻辑

sanic 性能测试

使用 wrk 进行服务器压力测试。基准测试 30 秒, 使用 12 个线程, 并发 400 个 http 连接。

$ wrk -t12 -c400 -d30s http://127.0.0.1:3289/pop

Running 30s test @ http://127.0.0.1:3289/pop

12 threads and 400 connections

Thread Stats Avg Stdev Max +/- Stdev

Latency 350.37ms 118.99ms 660.41ms 60.94%

Req/Sec 98.18 35.94 277.00 79.43%

33694 requests in 30.10s, 4.77MB read

Socket errors: connect 0, read 340, write 0, timeout 0

Requests/sec: 1119.44

Transfer/sec: 162.23KB

Running 30s test @ http://127.0.0.1:3289/get/10

12 threads and 400 connections

Thread Stats Avg Stdev Max +/- Stdev

Latency 254.90ms 95.43ms 615.14ms 63.51%

Req/Sec 144.84 61.52 320.00 66.58%

46538 requests in 30.10s, 22.37MB read

Socket errors: connect 0, read 28, write 0, timeout 0

Requests/sec: 1546.20

Transfer/sec: 761.02KB

性能还算不错，再测试一下没有 Redis 操作的 http://127.0.0.1:3289/

$ wrk -t12 -c400 -d30s http://127.0.0.1:3289/

Running 30s test @ http://127.0.0.1:3289/

12 threads and 400 connections

Thread Stats Avg Stdev Max +/- Stdev

Latency 127.86ms 41.71ms 260.69ms 55.22%

Req/Sec 258.56 92.25 520.00 68.90%

92766 requests in 30.10s, 13.45MB read

Requests/sec: 3081.87

Transfer/sec: 457.47KB

⭐️ Requests/sec: 3081.87

$ wrk -t12 -c400 -d30s http://127.0.0.1:3289/

Running 30s test @ http://127.0.0.1:3289/

12 threads and 400 connections

Thread Stats Avg Stdev Max +/- Stdev

Latency 34.63ms 12.66ms 96.28ms 58.07%

Req/Sec 0.96k 137.29 2.21k 73.29%

342764 requests in 30.10s, 49.69MB read

Requests/sec: 11387.89

Transfer/sec: 1.65MB

⭐️ Requests/sec: 11387.89

实际代理性能测试

运行代码

$ cd test

$ python test_proxy.py

# 可设置的环境变量

TEST_COUNT = os.environ.get("TEST_COUNT") or 1000

TEST_WEBSITE = os.environ.get("TEST_WEBSITE") or "https://httpbin.org/"

TEST_PROXIES = os.environ.get("TEST_PROXIES") or "http://localhost:3289/get/20"

实测效果

测试代理： http://localhost:3289/get/20

测试网站： https://httpbin.org/

测试次数： 1000

成功次数： 1000

失败次数： 0

成功率： 1.0

测试代理： http://localhost:3289/get/20

测试网站： https://taobao.com/

测试次数： 1000

成功次数： 984

失败次数： 16

成功率： 0.984

测试代理： http://localhost:3289/get/20

测试网站： https://baidu.com

测试次数： 1000

成功次数： 975

失败次数： 25

成功率： 0.975

测试代理： http://localhost:3289/get/20

测试网站： https://zhihu.com

测试次数： 1000

成功次数： 1000

失败次数： 0

成功率： 1.0

可以看到其实性能是非常棒的，成功率极高。

实际应用示例

import random

import requests

# 确保已经启动 sanic 服务

# 获取多个然后随机选一个

try:

proxies = requests.get("http://localhost:3289/get/20").json()

req = requests.get("https://example.com", proxies=random.choice(proxies))

except:

raise

# 或者单独弹出一个

try:

proxy = requests.get("http://localhost:3289/pop").json()

req = requests.get("https://example.com", proxies=proxy)

except:

raise

aiohttp 的坑

整个项目都是基于 aiohttp 这个异步网络库的，在这个项目的文档中，关于代理的介绍是这样的。

划重点：aiohttp supports HTTP/HTTPS proxies

但是，它根本就不支持 https 代理好吧，在它的代码中是这样写的。

划重点：Only http proxies are supported

我的心情可以说是十分复杂的。 不过只有 http 代理效果也不错没什么太大影响，参见上面的测试数据。

参考借鉴项目

✨ ✨

陈凯瑞
关注
python异步爬虫下载_Python 异步网络爬虫 II
weixin_42154650的博客
01-15 322
上一部分(Python 异步网络爬虫 I)整理了如何利用 aiohttp 和 asyncio 执行异步网络请求，接下来我们将在此基础上实现一个简洁、普适的爬虫框架。一般网站抓取的流程是这样的：从入口页面开始提取一组下一级页面的链接，然后递归地执行下去，直到最后一层页面为止。唯一不同的是对每一级页面所要抓取的信息，也就是需要的正则表达式不同，除此之外，请求页面、分析内容、正则匹配的步骤是重复的，因此...
python 异步下载图片_python3抓取异步百度瀑布流动态图片（二）get、json下载代码讲解...
weixin_39901404的博客
12-17 149
制作解析网址的get1 defgethtml(url,postdata):23 header = {'User-Agent':4 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:46.0) Gecko/20100101 Firefox/46.0',5 'Referer':6 ...
aiodown:使用httpx和asyncio的Python 3的完全异步文件下载器
03-14
艾欧当 使用在Python 3制作asyncio-based文件下载。 要求 Python 3.8或更高版本。 httpx 0.14或更高版本。 异步文件0.4或更高版本。 安装 注意：如果python3是“无法识别的命令”，请尝试使用python代替。 对于最新的稳定版本： python3 -m pip install aiodown 对于最新的开发版本： python3 -m pip install git+https://github.com/AmanoTeam/aiodown 还剩下什么呢？ 编写API文档。 显示一些例子。 执照 麻省理工学院:copyright:2021
python 使用异步的方式实现代理服务器
sheqianweilong的博客
11-14 518
简单实现通过异步的方式实现http代理服务器
PYTHON 异步批量文件下载
XIAOFEI@IDO
07-20 2830
文件下载1. 小文件下载2. 大文件下载3. 异步批量文件下载 1. 小文件下载 基于requests模块的get()函数下载。下载原理如下：先将文件内容保存至变量（即设备内存）中，然后再保存至指定文件中。这种下载有一个最大的限制是内存大小。 import requests def request_zip(url): rc = requests.get(url) # 请求链接后保存到链接变量 rc 中 with open("Download_test.jpg", 'wb') as
python_a4_python爬虫_python_python爬虫_
10-04
6. **IP代理**：为了避免频繁请求导致IP被封，我们可以使用IP代理池。Python的`proxy_pool`库可以帮助我们管理代理IP资源。 7. **爬虫框架**：对于更复杂的爬虫项目，可以考虑使用Scrapy框架。Scrapy提供了一整套的...
用Python写网络爬虫.rar_Python项目_python_python网络爬虫_爬虫_爬虫教程
07-15
《Python网络爬虫详解与实践》 Python作为一门强大的编程语言，因其简洁的语法和丰富的库支持，在网络爬虫领域有着广泛的应用。本教程旨在帮助初学者和有一定基础的开发者深入理解和掌握Python网络爬虫技术，通过...
Python网络爬虫技术_习题答案.rar
07-12
5. 异步爬虫：使用Scrapy框架进行大规模爬虫开发，理解异步I/O和多线程/进程。 6. 防止反爬策略：了解网站的反爬机制，学习如何设置User-Agent、处理Cookies、使用代理IP等。 7. 数据存储：将抓取的数据保存到文件...
《Python3网络爬虫开发实战代码》_python3_creaturerl3_python3爬虫_python_
09-29
【Python3网络爬虫开发实战代码】是一本深入讲解Python3网络爬虫技术的书籍，其实战部分主要涉及了mitmtest项目。该书旨在帮助读者掌握如何利用Python3进行高效的网页数据抓取和处理。在学习过程中，读者将接触并...
Python爬虫源码文件_pachong_python爬虫_python_website_
09-30
Python爬虫需要学会如何设置代理、更换User-Agent、模拟登录等技巧来应对这些反爬策略。 6. **异步爬取**：为了提高效率，可以使用异步I/O库，如`asyncio`配合`aiohttp`，实现并发请求，大幅加快爬取速度。 7. **...
python3爬虫中异步协程的用法
09-16
在本篇文章里小编给大家整理的是关于python3爬虫中异步协程的用法，需要的朋友们可以学习参考下。
styx：JVM的可编程，基于事件的异步反向代理
02-03
Styx是JVM（Java虚拟机）的可编程反向代理。 它可以用作独立应用程序，也可以用作构建自定义网络应用程序的平台。 它是非阻塞的，完全异步的并且是事件驱动的，因此具有很高的可伸缩性。 产品特点 Styx代理将HTTP请求发送到一组可配置的后端服务，通常是Web服务器（多个源）或负载均衡器（例如AWS ELB）的集群。 请求受拦截器链（概念上为HTTP过滤器链）的束缚，该拦截器链可以响应或修改并将请求传递给后端服务。 拦截器链可以使用Java编写的插件轻松扩展。 Styx附加功能： 负载均衡 原产地健康检查 重试机制 连接池 管理控制台（基于启发） 性能和系统指标收集和报告（与石墨兼
Python-由Python编写的全异步实现的动漫之家dmzj漫画批量下载器爬虫
08-12
这是一个使用Python3编写的动漫之家的漫画批量下载器。相比于我之前所写过的几个爬虫，这个爬虫也是我第一次尝试全异步实现的一个爬虫例子，使用了aiohttp和aiofile这两个异步实现库来做支撑，相对于单线程爬虫和多线程爬虫
Python爬虫实战：多线程爬取配乐网，实现异步下载
热门推荐
zhang_qing_yun的博客
05-17 1万+
python 爬虫 多线程 线程安全Queue 配乐网 异步下载
python3 异步IO\数据库\队列\缓存
淮南草的博客
06-26 676
yield 详解转至 https://www.cnblogs.com/maoxiaolv/p/6425875.html
Python同步异步爬虫通过代理访问HTTPS
mengyoufengyu的博客
11-19 1721
在windows下使用同步requests，异步aiohttp程序，通过代理访问https网页进行爬虫，一些易错点和实例程序
异步I/O优化Python代理程序性能
最新发布
weixin_73725158的博客
08-24 210
在传统的同步I/O模型中，程序一次只能处理一个请求或响应，这意味着当一个请求在等待网络响应时，程序会停下来，无法同时处理其他请求。2. 异步网络请求：将你的代理程序中的网络请求改为异步方式。这样，当一个请求在等待网络响应时，你的程序可以继续处理其他请求，充分利用系统资源，提高并发性能。在Python中，我们可以使用一些强大的异步编程框架，如asyncio和aiohttp，来实现异步I/O操作。通过采用异步I/O模型和上述优化策略，你可以显著提高你的Python代理程序的性能和并发处理能力。
Python 异步爬虫爬取图片
花开的博客
07-11 1841
周末没什么事,想温习一下以前学过的python爬虫,抓了一些图片,发现优点慢,于是改成了异步爬虫,用了几个异步的库 同步方法 import requests from lxml import etree from time import time from selenium import webdriver import os from time import sleep headers = { "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win.
sanic/flask + openpyxl 实现excel文件上传解析
qq_43745578的博客
01-10 1906
介绍openpyxl的基本使用和使用sanic上传exce并解析
Python异步代理爬虫与代理池实现
"本文介绍了一个使用Python asyncio库构建的异步代理爬虫和代理池系统。该系统通过爬取免费代理网站，验证代理的有效性后将代理存储在Redis数据库中，并定期更新和检查代理状态，剔除无效代理。此外，还使用aiohttp...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值