异步ThreadPoolExecutor，ProcessPoolExecutor和方法下载国旗实例

最新推荐文章于 2023-08-28 21:11:34 发布
最新推荐文章于 2023-08-28 21:11:34 发布
阅读量141 收藏 1
点赞数
原文链接：https://www.cnblogs.com/pyrene/p/7500578.html
版权

原因：略

1.普通方法实现下载国旗

# coding=utf-8
import os
import time
import sys

import requests

POP20_CC = ('CN IN US ID BR PK NG BD RU JP MX PH VN ET EG DE IR TR CD FR').split()

BASE_URL = 'http://flupy.org/data/flags'

DEST_DIR = 'downloads/'


def save_flag (img, filename):
    path = os.path.join(DEST_DIR, filename)
    with open(path, 'wb')as fp:
        fp.write(img)


def get_flag (cc):
    url = '{}/{cc}/{cc}.gif'.format(BASE_URL, cc=cc.lower())
    print(url)
    resp = requests.get(url)
    return resp.content


def flush ():
    sys.stdout.flush()


def download_many (cc_list):
    for cc in sorted(cc_list):
        image = get_flag(cc)
        flush()
        save_flag(image, cc.lower() + '.gif')
    return len(cc_list)


def main (download_many):
    to = time.time()
    count = download_many(POP20_CC)
    elapsed = time.time()
    msg = '\n{} flags downloaded in {:.2f}s'
    print(msg.format(count, elapsed - to))


if __name__ == '__main__':
    main(download_many)

输出：

http://flupy.org/data/flags/bd/bd.gif
http://flupy.org/data/flags/br/br.gif
http://flupy.org/data/flags/cd/cd.gif
http://flupy.org/data/flags/cn/cn.gif
http://flupy.org/data/flags/de/de.gif
http://flupy.org/data/flags/eg/eg.gif
http://flupy.org/data/flags/et/et.gif
http://flupy.org/data/flags/fr/fr.gif
http://flupy.org/data/flags/id/id.gif
http://flupy.org/data/flags/in/in.gif
http://flupy.org/data/flags/ir/ir.gif
http://flupy.org/data/flags/jp/jp.gif
http://flupy.org/data/flags/mx/mx.gif
http://flupy.org/data/flags/ng/ng.gif
http://flupy.org/data/flags/ph/ph.gif
http://flupy.org/data/flags/pk/pk.gif
http://flupy.org/data/flags/ru/ru.gif
http://flupy.org/data/flags/tr/tr.gif
http://flupy.org/data/flags/us/us.gif
http://flupy.org/data/flags/vn/vn.gif

20 flags downloaded in 76.91s

2.ProcessPoolExecutor: 进程池map的用法

# coding=utf-8
import os
import time
import sys
import requests
from concurrent.futures import ProcessPoolExecutor

POP20_CC = ('CN IN US ID BR PK NG BD RU JP MX PH VN ET EG DE IR TR CD FR').split()

BASE_URL = 'http://flupy.org/data/flags'
DEST_DIR = 'downloads/'
MAX_WORKERS = 20


def save_flag (img, filename):
    path = os.path.join(DEST_DIR, filename)
    with open(path, 'wb')as fp:
        fp.write(img)


def get_flag (cc):
    url = '{}/{cc}/{cc}.gif'.format(BASE_URL, cc=cc.lower())
    print(url)
    resp = requests.get(url)
    return resp.content


def flush ():
    sys.stdout.flush()


def download_one (cc):
    image = get_flag(cc)
    flush()
    save_flag(image, cc.lower() + '.gif')
    return cc


def download_many (cc_list):
    workers = min(MAX_WORKERS, len(cc_list))
    with ProcessPoolExecutor(workers) as executor:
        res = executor.map(download_one, sorted(cc_list))
    return len(list(res))


def main (download_many):
    to = time.time()
    count = download_many(POP20_CC)
    elapsed = time.time()
    msg = '\n{} flags downloaded in {:.2f}s'
    print(msg.format(count, elapsed - to))


if __name__ == '__main__':
    main(download_many)

输出：

http://flupy.org/data/flags/bd/bd.gif
http://flupy.org/data/flags/br/br.gif
http://flupy.org/data/flags/cd/cd.gif
http://flupy.org/data/flags/cn/cn.gif
http://flupy.org/data/flags/de/de.gif
http://flupy.org/data/flags/eg/eg.gif
http://flupy.org/data/flags/et/et.gif
http://flupy.org/data/flags/fr/fr.gif
http://flupy.org/data/flags/id/id.gif
http://flupy.org/data/flags/in/in.gif
http://flupy.org/data/flags/ir/ir.gif
http://flupy.org/data/flags/jp/jp.gif
http://flupy.org/data/flags/mx/mx.gif
http://flupy.org/data/flags/ng/ng.gif
http://flupy.org/data/flags/ph/ph.gif
http://flupy.org/data/flags/pk/pk.gif
http://flupy.org/data/flags/ru/ru.gif
http://flupy.org/data/flags/tr/tr.gif
http://flupy.org/data/flags/us/us.gif
http://flupy.org/data/flags/vn/vn.gif

20 flags downloaded in 41.36s

3.ThreadPoolExecutor：线程池 map的用法

# coding=utf-8
import os
import time
import sys
import requests
from concurrent.futures import ThreadPoolExecutor

POP20_CC = ('CN IN US ID BR PK NG BD RU JP MX PH VN ET EG DE IR TR CD FR').split()

BASE_URL = 'http://flupy.org/data/flags'
DEST_DIR = 'downloads/'
MAX_WORKERS = 20


def save_flag (img, filename):
    path = os.path.join(DEST_DIR, filename)
    with open(path, 'wb')as fp:
        fp.write(img)


def get_flag (cc):
    url = '{}/{cc}/{cc}.gif'.format(BASE_URL, cc=cc.lower())
    print(url)
    resp = requests.get(url)
    return resp.content


def flush ():
    sys.stdout.flush()


def download_one (cc):
    image = get_flag(cc)
    flush()
    save_flag(image, cc.lower() + '.gif')
    return cc


def download_many (cc_list):
    workers = min(MAX_WORKERS, len(cc_list))
    with ThreadPoolExecutor(workers) as executor:
        res = executor.map(download_one, sorted(cc_list))
    return len(list(res))


def main (download_many):
    to = time.time()
    count = download_many(POP20_CC)
    elapsed = time.time()
    msg = '\n{} flags downloaded in {:.2f}s'
    print(msg.format(count, elapsed - to))


if __name__ == '__main__':
    main(download_many)

输出：

http://flupy.org/data/flags/bd/bd.gif
http://flupy.org/data/flags/br/br.gif
http://flupy.org/data/flags/cd/cd.gif
http://flupy.org/data/flags/cn/cn.gif
http://flupy.org/data/flags/de/de.gif
http://flupy.org/data/flags/eg/eg.gif
http://flupy.org/data/flags/et/et.gif
http://flupy.org/data/flags/fr/fr.gif
http://flupy.org/data/flags/id/id.gif
http://flupy.org/data/flags/in/in.gif
http://flupy.org/data/flags/ir/ir.gif
http://flupy.org/data/flags/jp/jp.gif
http://flupy.org/data/flags/mx/mx.gif
http://flupy.org/data/flags/ng/ng.gif
http://flupy.org/data/flags/ph/ph.gif
http://flupy.org/data/flags/pk/pk.gif
http://flupy.org/data/flags/ru/ru.gif
http://flupy.org/data/flags/tr/tr.gif
http://flupy.org/data/flags/us/us.gif
http://flupy.org/data/flags/vn/vn.gif

20 flags downloaded in 4.94s
迷心兔
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
SpringBoot异步调用方法实现场景代码实例
08-19
例如，我们可以使用@Async注解来标注异步方法。 ```java @Service public class AsyncService { @Async public void asyncMethod() { // 异步调用方法 } } ``` 四、总结 在本文中，我们详细介绍了SpringBoot...
python并发和异步编程实例
09-19
在本文中，我们将深入探讨Python中的并发和异步编程，并通过具体的示例来展示它们的实现方法。 #### 二、并发与异步的基本概念 在深入讲解之前，我们需要先理解几个关键概念： - **并发**：指在同一时间段内，...
实现数据存储和文件下载异步
Sy_LeeChan的博客
07-02 1025
实现数据存储和文件下载异步 1.线程池配置 @Configuration @EnableAsync public class ThreadPoolConfig { private static final Logger logger = LoggerFactory.getLogger(ThreadPoolConfig.class); @Value("${async.executor.thread.core_pool_size}") private int corePoolSize;
配置java常用线程池
weixin_45826772的博客
10-24 373
@Configuration public class ThreadPoolConfig { /** * 获取系统处理器个数，作为线程池数量 */ private final int CPU_NUM = Runtime.getRuntime().availableProcessors(); /** * 使用Guava的ThreadFactoryBuilder线程工厂 */ private final ThreadFactory THR
ThreadPoolExecutor - 批量下载文件
hjkl0987的专栏
06-28 139
【代码】ThreadPoolExecutor - 批量下载文件。
ThreadPoolExecutor源码
qq_44689654的博客
08-11 222
1
Python线程池ThreadPoolExecutord，aiohttp两种方法光速下载图片
m0_51156876的博客
08-28 221
第一种方法：aiohttp异步请求：缺点是加代理IP不太方便，但是可以自己限制并发下载数量，以免爬崩网站或者被封禁 IP。第二种方法：ThreadPoolExecutord：缺点是没那么快，但其实已经够用了。优点是设置代理IP和请求头很方便。
线程池ThreadPoolExecutor使用简介与方法实例
08-26
线程池ThreadPoolExecutor使用简介与方法实例 线程池ThreadPoolExecutor是Java并发编程中一个非常重要的概念，它允许开发者将任务提交给线程池，并由线程池来管理这些任务的执行。今天，我们将对线程池...
java ThreadPoolExecutor 并发调用实例详解
08-30
java ThreadPoolExecutor 并发调用实例详解 java 中的并发编程是指在多个线程中执行多个任务，以提高程序的执行效率。在 Java 中，有多种方式可以实现并发编程，包括使用 Thread、Runnable、Callable、Future、...
ThreadPoolExecutor线程池的使用方法
08-25
2. 创建ThreadPoolExecutor：创建ThreadPoolExecutor实例，需要指定核心线程数、最大线程数、任务队列和拒绝策略。 3. 提交任务：使用execute方法提交任务到ThreadPoolExecutor中。 4. 关闭ThreadPoolExecutor：使用...
ThreadPoolExecutor线程池
08-30
ThreadPoolExecutor线程池，有详尽介绍，本人进行过测试，可以使用
java 断点续传 多线程下载 线程池下载
06-27
由于要写一个从第三方服务器拉取文件的插件，百度了很多都 不是很满意，所以自己写了一个，废话少说，看代码，欢迎拍板 断点续传，多线程下载文件，idea开发工具需要安装 lombok 插件，具体百度下吧， 不过没有也没关系，我这里主要lombok 的set get、log 两个方法，具体自己可以重写 ，只为求分，git地址为https://github.com/ljie/java-downFile
spirng的ThreadPoolExecutor
04-22
NULL 博文链接：https://cywhoyi.iteye.com/blog/1939040
ThreadPoolExecutor使用和思考
05-10
ThreadPoolExecutor使用和思考
使用ThreadPoolTaskExecutor和countDownLatch实现异步下载功能
学习不止境的博客
08-30 1590
今天主要是一个实践性的文章，在阅读公司代码的时候发现我们这边将多个文件打包成zip下载的方式有点东西（虽说网上有类似教程），但是还是想要自己去动手尝试学习下，感兴趣的同学可以跟着我一步步来。...
python利用线程池多线程下载ts并合并
m0_59522760的博客
04-30 1325
需要通过插件把视频的m3u8文件移动过来。注意这边通过插件获得的m3u8文件是一行一行的ts文件的下载地址所以直接用。ts文件是一段一段的切片视频我们需要把他们下载好用ffmpeg合并，这样合并的视频比直接拼接的视频流畅没那么卡顿。这个插件可以直接提取m3u8文件省去判断的步骤。文件目录可以自己改，主要是用了个视频下载插件。对于加密的ts文件，这个程序并没有完善。concat.mp4就是生成的视频。
使用线程池批量下载文件
LJ_759482的博客
05-05 1379
使用线程池的优点： 减少资源创建 => 减少内存开销，创建线程占用内存 降低系统开销 => 创建线程需要时间，会延迟处理的请求 提高稳定性 => 避免无限创建线程引起的OutOfMemoryError【简称OOM】 Executors有以下四个方法可以创建线程池: Executors.newFixedThreadPool() => 创建一个装有固定数量线程的线程池 Executors.newSingleThreadExecutor() => 创建单线程的线程池 Execu
线程池之ThreadPoolExecutor
BUG指挥课堂
08-16 222
IO密集型任务：任务需要大量的IO，即大量的阻塞。提高线程的可管理性。二者区别在于：shutdownNow方法首先将线程池状态设置为STOP，然后尝试停止所有正在执行或暂停任务的线程，并返回等到执行任务的列表，而shutdown只是将线程池的状态设置为SHUTDOWN状态，然后中断所有没有整在执行任务的线程。线程池的工作主要是控制运行的线程的数量，处理过程中将任务放入队列，然后在线程创建后启动这些任务，如果线程数量超过了最大数量，那么超出数量的线程排队等候，等其他线程执行完毕再从队列中取出任务来执行。...
Python运用线程池ThreadPoolExecutor多线程下载搜索图片
liangma的专栏
09-25 389
vscode+python3.7环境，运用线程池ThreadPoolExecutor下载图片搜索结果页面上的图片，加入了键盘中止和线程池支持，代码仅供学习交流参考。
ThreadPoolExecutor和ProcessPoolExecutor区别
最新发布
03-24
ThreadPoolExecutor和ProcessPoolExecutor是Python中用于并发执行任务的两个类。它们的主要区别在于执行任务的方式和适用场景。 ThreadPoolExecutor是线程池执行器，它使用线程来执行任务。线程是轻量级的执行单元，可以在同一个进程内并发执行多个任务。ThreadPoolExecutor适用于IO密集型任务，例如网络请求、文件读写等。它的优势在于线程的创建和销毁开销较小，适合大量短时间的任务。 ProcessPoolExecutor是进程池执行器，它使用进程来执行任务。进程是独立的执行环境，每个进程都有自己的内存空间和系统资源。ProcessPoolExecutor适用于CPU密集型任务，例如大量计算、图像处理等。它的优势在于可以充分利用多核CPU，并且进程之间相互独立，不会受到一个任务的异常影响其他任务。 总结一下： - ThreadPoolExecutor适用于IO密集型任务，使用线程执行任务。 - ProcessPoolExecutor适用于CPU密集型任务，使用进程执行任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值