2024年最新Python:怎样用线程将任务并行化?_python 线程并行启动,2024年最新面试心得体会1000字

做了那么多年开发,自学了很多门编程语言,我很明白学习资源对于学一门新语言的重要性,这些年也收藏了不少的Python干货,对我来说这些东西确实已经用不到了,但对于准备自学Python的人来说,或许它就是一个宝藏,可以给你省去很多的时间和精力。

别在网上瞎学了,我最近也做了一些资源的更新,只要你是我的粉丝,这期福利你都可拿走。

我先来介绍一下这些东西怎么用,文末抱走。


(1)Python所有方向的学习路线(新版)

这是我花了几天的时间去把Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。

最近我才对这些路线做了一下新的更新,知识体系更全面了。

在这里插入图片描述

(2)Python学习视频

包含了Python入门、爬虫、数据分析和web开发的学习视频,总共100多个,虽然没有那么全面,但是对于入门来说是没问题的,学完这些之后,你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。

在这里插入图片描述

(3)100多个练手项目

我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了,只是里面的项目比较多,水平也是参差不齐,大家可以挑自己能做的项目去练练。

在这里插入图片描述

(4)200多本电子书

这些年我也收藏了很多电子书,大概200多本,有时候带实体书不方便的话,我就会去打开电子书看看,书籍可不一定比视频教程差,尤其是权威的技术书籍。

基本上主流的和经典的都有,这里我就不放图了,版权问题,个人看看是没有问题的。

(5)Python知识点汇总

知识点汇总有点像学习路线,但与学习路线不同的点就在于,知识点汇总更为细致,里面包含了对具体知识点的简单说明,而我们的学习路线则更为抽象和简单,只是为了方便大家只是某个领域你应该学习哪些技术栈。

在这里插入图片描述

(6)其他资料

还有其他的一些东西,比如说我自己出的Python入门图文类教程,没有电脑的时候用手机也可以学习知识,学会了理论之后再去敲代码实践验证,还有Python中文版的库资料、MySQL和HTML标签大全等等,这些都是可以送给粉丝们的东西。

在这里插入图片描述

这些都不是什么非常值钱的东西,但对于没有资源或者资源不是很好的学习者来说确实很不错,你要是用得到的话都可以直接抱走,关注过我的人都知道,这些都是可以拿到的。

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友,可以戳这里获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

maxjobs.acquire() 3
thread = Thread(target=wrapper, args=(dir, pattern))
thread.start()
threads.append(thread)

for thread in threads:
thread.join()

print(‘Main thread end here’)


* **1** :创建一个有2个资源的信号量。一个信号量代表总的可用的资源数目,这里表示同时运行的最大线程数目为2。
* **2** :在线程结束时释放资源。运行在子线程中。
* **3** :在启动一个线程前,先获取一个资源。如果当前已经有2个线程在运行,则会阻塞,直到其中一个线程结束。 运行在主线程中。


当限制了最大运行线程数为2后,由于只有2个线程同时运行,程序的输出更加有序,几乎总是为:



searching pattern hello in dir a/b/c
searching pattern hello in dir a/b/d
searching pattern hello in dir b/c
searching pattern hello in dir d/f
Main thread end here


以上实现中为每个子任务创建一个线程进行处理,然后通过信号量限制同时运行的线程的数目。如果子任务很多,这种方法会创建太多的线程。更好的方法 是使用线程池。


### 使用线程池(Thread Pool)


即预先创建一定数目的线程,形成一个线程池。每个线程持续处理多个子任务(而不是处理一个就退出)。这样做的好处是:创建的线程数目会比较固定。


那么,每个线程处理哪些子任务呢?一种方法为:预先将所有子任务均分给每个线程。如下所示:



from threading import Thread
from time import sleep

def T(dir, pattern):
“This is just a stub that simulate a dir operation”
sleep(1)
print(‘searching pattern %s in dir %s’ % (pattern, dir))

dirs = [‘a/b/c’, ‘a/b/d’, ‘b/c’, ‘d/f’]
pattern = ‘hello’

def wrapper(dirs, pattern): 1
for dir in dirs:
T(dir, pattern)

threadsPool = [ 2
Thread(target=wrapper, args=(dirs[0:2], pattern)),
Thread(target=wrapper, args=(dirs[2:], pattern)),
]

for thread in threadsPool: 3
thread.start()

for thread in threadsPool:
thread.join()

print(‘Main thread end here’)


* **1** :这个函数能够处理多个dir,将作为线程的target函数
* **2** :创建一个有2个线程的线程池。并事先分配子任务给每个线程。线程1处理前两个dir,线程2处理后两个dir
* **3** :启动线程池中所有线程


程序的输出结果为:



searching pattern hello in dir a/b/csearching pattern hello in dir b/c

searching pattern hello in dir d/f
searching pattern hello in dir a/b/d
Main thread end here


这种方法存在以下问题:


1. 子任务分配可能不均。导致每个线程运行时间差别可能较大,则整体运行时长可能被拖长
2. 只能处理所有子任务都预先知道的情况,无法处理子任务实时出现的情况


如果有一种方法,能够让线程知道当前所有的待处理子任务,线程一旦空闲,便可以从中获取一个任务进行处理,则以上问题都可以解决。任务队列便是解决方案。


### 使用消息队列


可以使用Queue实现一个任务队列,用于在线程间传递子任务。主线程将所有待处理子任务放置在队列中,子线程从队列中获取子任务去处理。 如下所有(注:以下代码只运行于Python 2,因为Queue只存在于Python 2) :



from threading import Thread
from time import sleep
import Queue

def T(dir, pattern):
“This is just a stub that simulate a dir operation”
sleep(1)
print(‘searching pattern %s in dir %s’ % (pattern, dir))

dirs = [‘a/b/c’, ‘a/b/d’, ‘b/c’, ‘d/f’]
pattern = ‘hello’

taskQueue = Queue.Queue() 1

def wrapper():
while True:
try:
dir = taskQueue.get(True, 0.1) 2
T(dir, pattern)
except Queue.Empty:
continue

threadsPool = [Thread(target=wrapper) for i in range(2)] 3

for thread in threadsPool:
thread.start() 4

for dir in dirs:
taskQueue.put(dir) 5

for thread in threadsPool:
thread.join()
print(‘Main thread end here’)


* **1** :创建一个任务队列
* **2** :子线程从任务队列中获取一个任务。第一个参数为True,表示如果没有任务,会等待。第二个参数表示最长等待0.1秒 如果在0.1秒后仍然没有任务,则会抛出一个Queue.Empty的异常
* **3** :创建有2个线程的线程池。注意target函数wrapper没有任何参数
* **4** :启动所有线程
* **5** :主线程将所有子任务放置在任务队列中,以供子线程获取处理。由于子线程已经被启动,则子线程会立即获取到任务并处理


程序的输出为:



searching pattern hello in dir a/b/c
searching pattern hello in dir a/b/d
searching pattern hello in dir b/c
searching pattern hello in dir d/f


从中可以看出主进程的打印结果并没有出来,程序会一直运行,而不退出。这个问题的原因是:目前的实现中,子线程为一个无限循环, 因此其永远不会终止。因此,必须有一种机制来结束子进程。


### 终止子进程


一种简单方法为,可以在任务队列中放置一个特殊元素,作为终止符。当子线程从任务队列中获取这个终止符后,便自行退出。如下所示,使用None作为终止符。



from threading import Thread
from time import sleep
import Queue

def T(dir, pattern):
“This is just a stub that simulate a dir operation”
sleep(1)
print(‘searching pattern %s in dir %s’ % (pattern, dir))

dirs = [‘a/b/c’, ‘a/b/d’, ‘b/c’, ‘d/f’]
pattern = ‘hello’

taskQueue = Queue.Queue()

def wrapper():
while True:
try:
dir = taskQueue.get(True, 0.1)
if dir is None: 1
taskQueue.put(dir) 2
break

  T(dir, pattern)
**except** Queue.Empty:
**continue**

threadsPool = [Thread(target=wrapper) for i in range(2)]

for thread in threadsPool:
thread.start()

for dir in dirs:
taskQueue.put(dir)

taskQueue.put(None) 3

for thread in threadsPool:
thread.join()
print(‘Main thread end here’)


* **1** :如果任务为终止符(此处为None),则退出
* **2** :将这个终止符重新放回任务队列。因为只有一个终止符,如果不放回,则其它子线程获取不到,也就无法终止
* **3** :将终止符放在任务队列。注意必须放置在末尾,否则终止符后的任务无法得到处理


修改过后,程序能够正常运行,主进程能够正常退出了。


如果你也是看准了Python,想自学Python,在这里为大家准备了丰厚的免费**学习**大礼包,带大家一起学习,给大家剖析Python兼职、就业行情前景的这些事儿。



### 一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。



![](https://img-blog.csdnimg.cn/img_convert/9f49b566129f47b8a67243c1008edf79.png)

### 二、学习软件



工欲善其必先利其器。学习Python常用的开发软件都在这里了,给大家节省了很多时间。



![](https://img-blog.csdnimg.cn/img_convert/8c4513c1a906b72cbf93031e6781512b.png)



### 三、全套PDF电子书

书籍的好处就在于权威和体系健全,刚开始学习的时候你可以只看视频或者听某个人讲课,但等你学完之后,你觉得你掌握了,这时候建议还是得去看一下书籍,看权威技术书籍也是每个程序员必经之路。

![](https://img-blog.csdnimg.cn/img_convert/eec417a3d4d977b313558a11d3c13e43.png)



### 四、入门学习视频

我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了。



![](https://img-blog.csdnimg.cn/img_convert/ec690501ea1dbe2cb209cbf4013c2477.png)  

![](https://img-blog.csdnimg.cn/img_convert/3eaeaa6747419c9d86c72e0d10d0a6a2.png)



### 四、实战案例

光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。



![](https://img-blog.csdnimg.cn/img_convert/252731a671c1fb70aad5355a2c5eeff0.png)



### 五、面试资料

我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。

![](https://img-blog.csdnimg.cn/img_convert/6c361282296f86381401c05e862fe4e9.png)

成为一个Python程序员专家或许需要花费数年时间,但是打下坚实的基础只要几周就可以,如果你按照我提供的学习路线以及资料有意识地去实践,你就有很大可能成功!
最后祝你好运!!!




**网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。**

**[需要这份系统化学习资料的朋友,可以戳这里获取](https://bbs.csdn.net/forums/4304bb5a486d4c3ab8389e65ecb71ac0)**

**一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**

  • 23
    点赞
  • 28
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值