Python多线程爬取表情包，1秒下载五十张表情包(3)

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

三、全套PDF电子书

书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。

四、入门学习视频

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

五、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

六、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

Python3.2带来了 concurrent.futures 模块，这个模块具有线程池和进程池、管理并行编程任务、处理非确定性的执行流程、进程/线程同步等功能。

此模块由以下部分组成：

• concurrent.futures.Executor: 这是一个虚拟基类，提供了异步执行的方法。

• submit(function, argument): 调度函数（可调用的对象）的执行，将 argument 作为参数传入。

• map(function, argument): 将 argument 作为参数执行函数，以 异步 的方式。

• shutdown(Wait=True): 发出让执行者释放所有资源的信号。

• concurrent.futures.Future: 其中包括函数的异步执行。Future对象是submit任务（即带有参数的functions）到executor的实例。

Executor是抽象类，可以通过子类访问，即线程或进程的 ExecutorPools 。因为，线程或进程的实例是依赖于资源的任务，所以最好以“池”的形式将他们组织在一起，作为可以重用的launcher或executor。

使用线程池

线程池或进程池是用于在程序中优化和简化线程/进程的使用。通过池，你可以提交任务给executor。池由两部分组成，一部分是内部的队列，存放着待执行的任务；另一部分是一系列的进程或线程，用于执行这些任务。池的概念主要目的是为了重用：让线程或进程在生命周期内可以多次使用。它减少了创建创建线程和进程的开销，提高了程序性能。重用不是必须的规则，但它是程序员在应用中使用池的主要原因。

current.Futures 模块提供了两种 Executor 的子类，各自独立操作一个线程池和一个进程池。这两个子类分别是：

• concurrent.futures.ThreadPoolExecutor(max_workers)

• max_workers 参数表示最多有多少个worker并行执行任务。

下面的示例代码展示了线程池和进程池的功能。这里的任务是，给一个list number_list ，包含1到10。

• 通过有5个worker的线程池执行

线程池运行

然后，我们使用了 futures.ThreadPoolExecutor 模块的线程池跑了一次：:

if name == “main”:

start_time_1 = time.time()

with concurrent.futures.ThreadPoolExecutor(max_workers=5) as executor:

for item in number_list:

executor.submit(evaluate_item, item)

print(“线程池计算的时间：” + str(time.time() - start_time_1), “秒”)

executor1 = concurrent.futures.ThreadPoolExecutor(max_workers=5)

for item in number_list:

executor1.submit(evaluate_item, item)

executor1.shutdown()

print(“线程池计算的时间：” + str(time.time() - start_time_1), “秒”)

ThreadPoolExecutor 使用线程池中的一个线程执行给定的任务。池中一共有5个线程，每一个线程从池中取得一个任务然后执行它。当任务执行完成，再从池中拿到另一个任务。

当所有的任务执行完成后，打印出执行用的时间：

print(“线程池计算的时间：” + str(time.time() - start_time_1), “秒”)

最终实现效果

---

完整代码

---

-- coding: utf-8 --

import time

import os

import concurrent.futures

import requests

import parsel

“”“图片保存文件夹”“”

dir_name = ‘images’

if not os.path.exists(dir_name):

os.mkdir(dir_name)

os.chdir(dir_name)

else:

os.chdir(dir_name)

def get_img_urls(url):

“”“下载图片”“”

response = requests.get(url)

html = response.text

print(html)

“”“解析网页中的内容”“”

sel = parsel.Selector(html)

divs = sel.css(‘.tagbqppdiv’)

for div in divs:

link = div.css(‘img.ui::attr(data-original)’).extract_first()

name = div.css(‘a::attr(title)’).extract_first()

yield link, name

def download_img(link: str, name: str):

“”“下载并保存图片”“”

try:

suffix = link.split(‘.’)[-1]

response = requests.get(link)

with open(name + ‘.’ + suffix, mode=‘wb’) as f:

f.write(response.content)

except OSError:

print(‘文件名非法’)

def main():

url = ‘https://fabiaoqing.com/biaoqing/lists/page/2.html’

links = get_img_urls(url)

for link in links:

download_img(*link)

if name == ‘main’:

文末有福利领取哦~

👉一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

👉二、Python必备开发工具

👉三、Python视频合集

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉 四、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。（文末领读者福利）

👉五、Python练习题

检查学习结果。

👉六、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

👉因篇幅有限，仅展示部分资料，这份完整版的Python全套学习资料已经上传

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！