Python多线程爬取表情包，1秒下载五十张表情包

从 QQ 到微信，表情包一直都是中国互联网用户的「心头好」，时至今日，甚至发展到了「无表情包不聊天」的地步。

无论是正事儿还是闲侃，表情包都必不可少。聊天到一半发现表情包不够用怎么办？今天正心老师带你彻底解决这个问题！

知识点：

1. requests
2. css选择器

开发环境：

1. 版 本：anaconda5.2.0（python3.6.5）
2. 编辑器：pycharm

第三方库：

1. requests
2. parsel

进行网页分析

目标站点

• 开发者工具的使用
• network
• element

concurrent.futures

Python3.2带来了 concurrent.futures 模块，这个模块具有线程池和进程池、管理并行编程任务、处理非确定性的执行流程、进程/线程同步等功能。

此模块由以下部分组成：

• concurrent.futures.Executor: 这是一个虚拟基类，提供了异步执行的方法。
• submit(function, argument): 调度函数（可调用的对象）的执行，将 argument 作为参数传入。
• map(function, argument): 将 argument 作为参数执行函数，以 异步 的方式。
• shutdown(Wait=True): 发出让执行者释放所有资源的信号。
• concurrent.futures.Future: 其中包括函数的异步执行。Future对象是submit任务（即带有参数的functions）到executor的实例。

Executor是抽象类，可以通过子类访问，即线程或进程的 ExecutorPools 。因为，线程或进程的实例是依赖于资源的任务，所以最好以“池”的形式将他们组织在一起，作为可以重用的launcher或executor。

使用线程池

线程池或进程池是用于在程序中优化和简化线程/进程的使用。通过池，你可以提交任务给executor。池由两部分组成，一部分是内部的队列，存放着待执行的任务；另一部分是一系列的进程或线程，用于执行这些任务。池的概念主要目的是为了重用：让线程或进程在生命周期内可以多次使用。它减少了创建创建线程和进程的开销，提高了程序性能。重用不是必须的规则，但它是程序员在应用中使用池的主要原因。

current.Futures 模块提供了两种 Executor 的子类，各自独立操作一个线程池和一个进程池。这两个子类分别是：

• concurrent.futures.ThreadPoolExecutor(max_workers)
• max_workers 参数表示最多有多少个worker并行执行任务。

下面的示例代码展示了线程池和进程池的功能。这里的任务是，给一个list number_list ，包含1到10。

• 通过有5个worker的线程池执行

线程池运行

然后，我们使用了 futures.ThreadPoolExecutor 模块的线程池跑了一次：:

if name == “main”:

start_time_1 = time.time()

with concurrent.futures.ThreadPoolExecutor(max_workers=5) as executor:

for item in number_list:

executor.submit(evaluate_item, item)

print(“线程池计算的时间：” + str(time.time() - start_time_1), “秒”)

executor1 = concurrent.futures.ThreadPoolExecutor(max_workers=5)

for item in number_list:

executor1.submit(evaluate_item, item)

executor1.shutdown()

print(“线程池计算的时间：” + str(time.time() - start_time_1), “秒”)

ThreadPoolExecutor 使用线程池中的一个线程执行给定的任务。池中一共有5个线程，每一个线程从池中取得一个任务然后执行它。当任务执行完成，再从池中拿到另一个任务。

当所有的任务执行完成后，打印出执行用的时间：

print(“线程池计算的时间：” + str(time.time() - start_time_1), “秒”)

对Python感兴趣或者是正在学习的小伙伴，推荐我们的Python学习扣qun：784758214 ，看看前辈们是如何学习的！从基础的python脚本到web开发、爬虫、django、数据挖掘等【PDF，实战源码】，零基础到项目实战的资料都有整理。送给每一位python的小伙伴！每天都有大牛定时讲解Python技术，分享一些学习的方法和需要注意的小细节，点击加入我们的 python学习者聚集地

最终实现效果