python——GIL锁详解_python gil，2024年最新2024大厂大数据开发知识点总结

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）

正文

---

文章目录

• 一、GIL全局解释器锁
• 二、为什么会有GIL锁？
• 三、多线程无法利用多核优势？
• • 计算密集型和IO密集型
    • 计算密集型——采用多进程
    • 计算密集型——采用多线程
    • IO密集型——采用多进程
    • IO密集型——采用多线程
• 四、总结

一、GIL全局解释器锁

1、GIL锁不是python的特点。而是cpython的特点。
2、在cpython解释器中，GIL是一把互斥锁，用来保证进程中同一个时刻只有一个线程在执行。
3、在没有GIL锁的情况下，有可能多线程在执行一个代码的同时，垃圾回收机制对所执行代码的变量直接进行回收，其他的线程再使用该变量时会导致运行错误。

二、为什么会有GIL锁？

python使用引用计数为主，标记清楚和隔代回收为辅来进行内存管理。所有python脚本中创建的对象，都会配备一个引用计数，来记录有多少个指针来指向它。当对象的引用技术为0时，会自动释放其所占用的内存。

假设有2个python线程同时引用一个数据（a=100，引用计数为1），
2个线程都会去操作该数据，由于多线程对同一个资源的竞争，实际上引用计数为3，
但是由于没有GIL锁，导致引用计数只增加1（引用计数为2）
这造成的后果是，当第1个线程结束时，会把引用计数减少为1；当第2个线程结束时，会把引用计数减少为0；
当下一个线程再次视图访问这个数据时，就无法找到有效的内存了**

三、多线程无法利用多核优势？

由于GIL锁的存在，即使是多个线程处理任务，但是最终只有一个线程在工作，那么是不是多线程真的一点用处都没有了呢？

对于需要执行的任务来说，分为两种：计算密集型、IO 密集型

假如一个计算密集型的任务需要10s的执行时间，总共有4个这样的任务

在 4核及以上的情况下：
多进程：需要开启 4 个进程，但是 4 个 CPU 并行，最终只需要消耗 10s 多一点的时间。
多线程：只需要开1 个进程，这个进程开启 4 个线程，开启线程所消耗的资源很少，但是由于最终执行是只有一个 CPU 可以工作，所以最终消耗 40s 多的时间。

假如是多个 IO密集型 的任务
CPU 大多数时间是处于闲置状态，频繁的切换

多进程：进程进行切换需要消耗大量资源
多线程：线程进行切换并不需要消耗大量资源

计算密集型和IO密集型

计算密集型：要进行大量的数值计算，例如进行上亿的数字计算、计算圆周率、对视频进行高清解码等等。这种计算密集型任务虽然也可以用多任务完成，但是花费的主要时间在任务切换的时间，此时CPU执行任务的效率比较低。

IO密集型：涉及到网络请求(time.sleep())、磁盘IO的任务都是IO密集型任务，这类任务的特点是CPU消耗很少，任务的大部分时间都在等待IO操作完成（因为IO的速度远远低于CPU和内存的速度）。对于IO密集型任务，任务越多，CPU效率越高，但也有一个限度。

计算密集型——采用多进程

执行时间为： 4.062887668609619

from multiprocessing import Process
import time

def func1():
    sum=0
    for i in range(100000000):
        sum+=1
    print(sum)

if __name__ == '\_\_main\_\_':

    now=time.time()
    l=[]
    for i in range(10):
        p=Process(target=func1)
        p.start()
        l.append(p)
    for p in l:
        p.join()
    end=time.time()
    print('执行时间为：',end-now)

计算密集型——采用多线程

执行时间为： 27.6159188747406

from threading import Thread
import time

def func1():
    sum=0
    for i in range(100000000):
        sum+=1
    print(sum)


**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）**
![img](https://img-blog.csdnimg.cn/img_convert/3b110a6d19040e0fce6bfc3ae2ba4070.png)

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

可以添加V获取：vip204888 （备注大数据）**
[外链图片转存中...(img-SJc6c8SN-1713317436987)]

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**