python底层GIL

最新推荐文章于 2024-03-15 23:51:39 发布
最新推荐文章于 2024-03-15 23:51:39 发布
阅读量342 收藏 2
点赞数 1
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43382388/article/details/83933367
版权
本文介绍了Python的全局解释器锁（GIL），它是CPython解释器用于管理全局资源的互斥锁。GIL的存在使得在同一时刻，只有一个线程能执行Python字节码。在IO操作或特定条件满足时，GIL会被释放。尽管GIL限制了多线程在多核CPU上的并行执行，但多线程在处理IO密集型任务时仍能提升性能。Python可以通过多进程、换解释器（如Jython）、C扩展或结合进程与协程来解决GIL带来的问题。面试题涉及到GIL的概念、影响以及多线程在爬虫中的应用和性能比较。
摘要由CSDN通过智能技术生成

GIL全局解释器锁

在这里插入图片描述

  1. 这是解释器内部的一把锁，确切一点说是CPython解释器内部的一把锁，所以要注意区分 这和我们在Python代码中使用Lock不是一个层面的概念。

GIL产生的背景 在CPython解释内部运行多个线程的时候，每个线程都需要解释器内部申请相应的全局资源，由于C语言本身比较底层造成CPython在管理所有全局资源的时候并不能应对所有线程同时的资源请求，因此为了防止资源竞争而发生错误，对所有线程申请全局资源增加了限制-全局解释器锁。

  1. 言外之意，就是全局解释器就是为了锁定整个解释器内部的全局资源，每个线程想要运行首先获取GIL，而GIL本身又是一把互斥锁，造成所有线程只能一个一个one-by-one-并发-交替的执行。

GIL什么时候释放

  • 在当前线程执行超时后会自动释放
  • 在当前线程执行阻塞操作时会自动释放
  • 当前执行完成时
    Guido的声明：http://www.artima.com/forums/flat.jsp?forum=106&thread=214235 Python之父在观点的最后部分说明 the language doesn’t require the GIL – it’s only the CPython virtual machine that has historically been unable to shed it.

GIL面试题

描述Python GIL的概念， 以及它对python多线程的影响？编写一个多线程抓取网页的程序，并阐明多线程抓取程序是否可比单线程性能有提升，并解释原因。

  1. Python语言和GIL没有半毛钱关系。仅仅是由于历史原因在Cpython虚拟机(解释器)，难以移除GIL。
  2. GIL：全局解释器锁。每个线程在执行的过程都需要先获取GIL，保证同一时刻只有一个线程可以执行代码。
  3. 线程释放GIL锁的情况：
  • 在IO操作等可能会引起阻塞的system call之前,可以暂时释放GIL,但在执行完毕后,必须重新获取GIL
  • Python 3.x使用计时器（执行时间达到阈值后，当前线程释放GIL）或Python 2.x，tickets计数达到100.
  1. Python使用多进程是可以利用多核的CPU资源的。
  2. 多线程爬取比单线程性能有提升，因为遇到IO阻塞会自动释放GIL锁

严重问题: 既然CPython解释存在GIL是否意味每个线程在全局变量就不用加Lock互斥锁了呢？ 这是一个严重错误的想法，为什么用户操作全局数据还需要加Lock，因为GIL的释放时机我们无法控制-操作非常可能并没有完成，而不像Lock那样我们用完才释放(操作完整)。

GIL小总结

1、gil是什么: 全局解释器器锁
2. gil作用:单核的情况下实现多任务
3. gil解决方案:

1. 进程
2. 换解释器器(javapython)
3. 线程这块代码使⽤用c,java去实现
4. 进程加协程提⾼高效率

大鹏远飞
关注
C++调用python文件
03-16
C++以其高效、底层控制和丰富的库支持而闻名，而Python则以其简洁的语法、强大的科学计算库以及快速的开发效率受到青睐。为了充分利用这两种语言的优点，开发者经常需要在C++程序中调用Python代码。本文将深入探讨...
python——GIL锁详解_python gil，2024年最新2024大厂大数据开发知识点总结
最新发布
2401_84183726的博客
04-17 1000
当对象的引用技术为0时，会自动释放其所占用的内存。3、在没有GIL锁的情况下，有可能多线程在执行一个代码的同时，垃圾回收机制对所执行代码的变量直接进行回收，其他的线程再使用该变量时会导致运行错误。由于GIL锁的存在，即使是多个线程处理任务，但是最终只有一个线程在工作，那么是不是多线程真的一点用处都没有了呢？这造成的后果是，当第1个线程结束时，会把引用计数减少为1；2个线程都会去操作该数据，由于多线程对同一个资源的竞争，实际上引用计数为3，假如一个计算密集型的任务需要10s的执行时间，总共有4个这样的任务。
【python】python中字典的底层是怎么实现的
python全栈
06-19 2933
python字典的底层实现的是哈希表。调用python内置的哈希函数，将键（key）作为参数进行转换（哈希运算+取余运算），得到一个唯一的地址（地址的索引），然后将值（value）存放到对应的地址中（给相同的键赋值会直接覆盖原值，因为相同的键转换后的地址时一样的）哈希表（Hash Table，又称为散列表）是一种线性表的存储结构。由一个直接寻址表 T (假设大小为m) 和一个哈希函数 h(k) 组成。对于任意可哈希对象，通过哈希函数（一般先进行哈希计算，然后对结果进行取余运算），将该对象映射为寻址表的索引
Python 底层原理
TorchCqs的博客
09-04 3624
1. 心得体会 最近在学习一些 python 底层原理的干货知识，从 python 底层的 C 代码真的是了解到了很多东西。让我明白了 python 是如何处理各种变量类型的，也明白了 python 是如何管理变量的。在这个过程中我也在学习过程中想通了以前遇到的一些当时认为很奇葩的现象，如 del 掉一个变量后新建一个变量偶尔会发现新建的变量和 del 的变量的地址是一样的，这本质上还是对 python 原理不清楚所导致的。 另外，我在学习中也参考了大佬的文章，感兴趣的可...
Python高阶知识之元类--彻底了解python底层类逻辑
yifengchaoran的专栏
04-09 971
python高级知识，关于元类和类的最核心逻辑
浅析 Python 的一些底层原理与 CPython
叶庭云 成为自己的光
03-15 1800
浅析 Python 的一些底层原理与 CPython
python学习项目1
02-19
13. **Python的性能优化**：虽然Python是解释型语言，但仍有多种方法可以优化代码性能，如使用列表推导式、生成器、装饰器，以及引入cython或numba等工具进行底层优化。 14. **并发与多线程**：Python的threading...
python_crush
04-01
7. **多线程与多进程**：Python的全局解释器锁（GIL）限制了多线程在CPU密集型任务中的并行性，但可以通过多进程（如`multiprocessing`模块）来实现真正的并行计算。 8. **使用Cython或PyPy**：Cython允许将Python...
Python源码剖析.docx
02-17
#### 八、内存管理机制：Python的底层细节 - **内存池技术**：了解Python如何高效管理内存资源。 - **引用计数**：探讨Python对象的引用计数机制。 - **标记删除**：分析垃圾回收中的标记-清除算法。 - **分代回收*...
Python源码剖析
02-09
9. **标准库实现**：Python的标准库如`os`、`sys`和`re`等，其底层实现都在源码中。研究这些模块的源码，可以加深对相关功能的理解。 10. **垃圾回收**：Python的垃圾回收机制是自动的，通过追踪引用计数和循环引用...
Python网络编程（线程通信、GIL、服务器模型）
08-16
什么是进程、进程的概念？ 进程的概念主要有两点： 第一，进程是一个实体。每一个进程都有它自己的地址空间， 一般情况下，包括文本区域（text region）、数据区域（data region）和堆栈（stack region）。 文本区域存储处理器执行的代码；数据区域存储变量和进程执行期间使用的动态分配的内存；堆栈区域存储着活动过程调用的指令和本地变量。 第二，进程是一个“执行中的程序”。程序是一个没有生命的实体，只有处理器赋予程序生命时（操作系统执行之）， 它才能成为一个活动的实体，我们称其为进程。 [size=13.125px][3]进程是操作系统中最基本、重要的概念。是多道程序系统出现后，为了刻画系统内部出现的动态情况， 描述系统内部各道程序的活动规律引进的一个概念,所有多道程序设计操作系统都建立在进程的基础上。 什么是线程、进程的概念？
使用Python实现几种底层技术的数据结构
cnds123的专栏
11-20 787
使用Python实现几种底层技术的数据结构
python基础底层知识
weixin_72059344的博客
07-09 583
钩子函数（Hook Function）是一种在特定事件发生时被调用的函数，用于允许开发者插入自己的代码以改变或增强程序的行为。鸭子类型是一种动态类型语言的编程风格，在这种风格中，一个对象的适用性不是基于其继承层次结构（类别），而是基于它是否具有所需的方法和属性。封装（Encapsulation）是面向对象编程中的一种重要概念，它指的是将数据和操作数据的方法捆绑在一起，形成一个独立的实体。多态（Polymorphism）是面向对象编程中的一个重要概念，它指的是同一种操作可以在不同的对象上产生不同的行为。
Python随笔
centan的博客
04-27 3722
1、python底层是用C写的，不是C++。 Python 在执行代码时，会使用到解释器。Python 有三种解释器 CPython、JPython、Pypy。 其中 CPython 就是使用 C 语言编写的，解释器的实现方式可以有很多种。 2、C和C++的区别是？ C++是面向对象的，就像Python一样，所以C++支持多态、封装和继承。但C不支持。 C没有函数重载，没有函数重写，数据类型所蕴含的无穷潜力，在C这里仅仅用于定义内存布局，简单的类型检查。 C++不过是比C多了很多语法糖，每一条语法糖，都代表
python底层原理讲解_python底层原理
weixin_42316079的博客
02-10 5985
有同学问到了一个问题，python中存储变量是通过内存地址来存储，那么python又是如何去判断内存中的地址是什么数据类型的呢。经过查找，找到这篇文章：原博客地址：http://www.cnblogs.com/aashui/p/9871009.html1.Python是如何进行内存管理的？答:从三个方面来说,一对象的引用计数机制,二垃圾回收机制,三内存池机制一、对象的引用计数机制Python内部使...
python 底层_python底层机制
weixin_39625987的博客
11-24 300
广告关闭腾讯云11.11云上盛惠 ，精选热门产品助力上云，云服务器首年88元起，买的越多返的越多，最高返5000元！我们知道，一个 try 块也可以对应多个 except 块，一个 except 块可以同时处理多种异常。 如果我们想使用一个 except 块处理所有异常，就可以这样写：try: #... except exception: #... 这种情况下，对于 try 块中可能出现的任何异常...
Python --- 切片详解 （正负索引、索引越界、返回浅复制）（ 底层解析）
demo_yo的博客
10-15 9479
lst = list(range(5)) print(lst) for i, j in enumerate(lst): lst_1 = lst[:i:-1] print(i, lst_1) start_index：表示是起始元素对象，正索引位置默认为0；负索引位置默认为 -len(consequence) end_index：表示是末端元素对象，正索引位置默认为 len(consequence)－1；负索引位置默认为 -1。 正式句法规则并没有在序列中设置负标号的特殊保留条款；.
数据结构与算法 2 线性表
神东的博客
09-18 341
目录 2.1 顺序表的形式 2.2 顺序表的结构与实现 顺序表的两种基本实现方式 元素存储区替换 元素存储区扩充 2.3顺序表的操作 2.4 python中的顺序表 list的基本实现技术 2.1 顺序表的形式 在程序中，经常需要将一组（通常是同为某个类型的）数据元素作为整体管理和使用，需要创建这种元素组，用变量记录它们，传进传出函数等。一组数据中包含的元素个数可能发生...
关于Python列表底层实现原理
moodfriend的博客
10-31 994
今天学习极客时间上的《Python核心技术与实战》课程，在看了第3课关于列表和元组的深入剖析后，觉得自己以前对于列表元组的理解还不够深入，于是跟着课程中老师提供的思路搜索了资料，算是整理出了一些知识体系吧。
Python GIL详解：影响与优化并发策略
另外，还可以利用像是`concurrent.futures`这样的库，通过线程池或者进程池来组织工作，虽然底层还是由GIL控制，但在任务调度上能够提供一定程度的并行化。 此外，近年来的Python 3.2及以上版本引入了`_...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值