python基础

猫八月

已于 2023-03-01 11:28:02 修改

阅读量177

点赞数

分类专栏：笔记文章标签： python linux java

于 2023-02-06 20:55:48 首次发布

本文链接：https://blog.csdn.net/weixin_39790665/article/details/128907568

版权

笔记专栏收录该内容

9 篇文章 0 订阅

订阅专栏

常见问题

python 中的锁

python 中的锁

一、全局解释器锁（GIL）

1、什么是全局解释器锁

在同一个进程中只要有一个线程获取了全局解释器（cpu）的使用权限，那么其他的线程就必须等待该线程的全局解释器（cpu）使　　　　用权消失后才能使用全局解释器（cpu）,即时多个线程直接不会相互影响在同一个进程下也只有一个线程使用cpu，这样的机制称为全局　　　　解释器锁（GIL）。

2、全局解释器锁的好处

1、避免了大量的加锁解锁的好处

2、使数据更加安全，解决多线程间的数据完整性和状态同步

3、全局解释器的缺点

多核处理器退化成单核处理器，只能并发不能并行。

4、如图所示：

同一时刻的某个进程下的某个线程只能被一个cpu所处理，所以在GIL锁下的线程只能被并发，不能被并行。

5、实例：
在这里插入图片描述

二、同步锁

1、什么是同步锁？

同一时刻的一个进程下的一个线程只能使用一个cpu，要确保这个线程下的程序在一段时间内被cpu执，那么就要用到同步锁。

2、为什么用同步锁？

因为有可能当一个线程在使用cpu时，该线程下的程序可能会遇到io操作，那么cpu就会切到别的线程上去，这样就有可能会影响到该程　　序结果的完整性。

3、怎么使用同步锁？

只需要在对公共数据的操作前后加上上锁和释放锁的操作即可。

4、实例：在这里插入图片描述
5、扩展知识

1、GIL的作用：多线程情况下必须存在资源的竞争，GIL是为了保证在解释器级别的线程唯一使用共享资源（cpu）。

2、同步锁的作用：为了保证解释器级别下的自己编写的程序唯一使用共享资源产生了同步锁。
三、递归锁和死锁

1、什么是死锁？

指两个或两个以上的线程或进程在执行程序的过程中，因争夺资源而相互等待的一个现象，如图所示。
　2、什么是递归锁？

在Python中为了支持同一个线程中多次请求同一资源，Python提供了可重入锁。这个RLock内部维护着一个Lock和一个counter

变量，counter记录了acquire的次数，从而使得资源可以被多次require。直到一个线程所有的acquire都被release，其他的线程才能获

得资源。
　　　　在这里插入图片描述
四、信号量（semaphore）

1、什么是信号量？

同进程的一样，semaphore管理一个内置的计数器，每当调用acquire()时内置函数-1，每当调用release()时内置函数+1。

计数器不能为0，当计数器为0时acquire（）将阻塞线程，直到其他线程调用release（）。

网络七层协议

在这里插入图片描述

http与https的区别是什么?http与https的概念：

HTTPS(全称：Hypertext Transfer Protocol over Secure Socket Layer)，是以安全为目标的HTTP通道，简单讲是HTTP的安全版。即HTTP下加入SSL层，HTTPS的安全基础是SSL，因此加密的详细内容就需要SSL。它是一个URI scheme(抽象标识符体系)，句法类同http:体系。用于安全的HTTP数据传输。

https:URL表明它使用了HTTP，但HTTPS存在不同于HTTP的默认端口及一个加密/身份验证层(在HTTP与TCP之间)。这个系统的最初研发由网景公司进行，提供了身份验证与加密通讯方法，现在它被广泛用于万维网上安全敏感的通讯。

超文本传输协议 (HTTP-Hypertext transfer protocol) 是一种详细规定了浏览器和万维网服务器之间互相通信的规则，通过因特网传送万维网文档的数据传送协议。

在这里插入图片描述
http与https的区别是什么呢?

https协议需要到ca申请证书，一般免费证书很少，需要交费。

http是超文本传输协议，信息是明文传输，https 则是具有安全性的ssl加密传输协议

http和https使用的是完全不同的连接方式用的端口也不一样,前者是80,后者是443。

http的连接很简单,是无状态的

HTTPS协议是由SSL+HTTP协议构建的可进行加密传输、身份认证的网络协议要比http协议安全
HTTPS是如何实现安全传输数据的？
首先https的服务端必须要拥有一个CA认证合法授权的证书，没有这个证书，客户端在访问该服务器时就会提醒用户这个网站是不受信任的。只有通过CA认证的服务器才是可靠的，这保证了用户在访问服务器的安全性。浏览器会保持一个信任的CA机构列表，通过这些机构出查询所访问的服务器提供的证书是否合法。
如果此时发现证书是合法OK的，那么就从这个服务器端的证书中获取到了加密秘钥，这个加密秘钥会沟通商议出一个随机的对称秘钥，服务端在传输信息使用该秘钥进行加密。而客户端在收到这部分信息后，在浏览器侧通过之前得到的对称秘钥进行解密，相反如果客户端想要向服务端发送消息时也是如此。

爬虫的性能优化

爬虫性能优化

Scrapy的中间件

mysql数据库主键和唯一索引

主键是一种约束，唯一索引是一种索引，两者在本质上是不同的。

主键创建后一定包含一个唯一性索引，唯一性索引并不一定就是主键。

唯一性索引列允许空值，而主键列不允许为空值。

主键列在创建时，已经默认为空值 + 唯一索引了。

主键可以被其他表引用为外键，而唯一索引不能。

一个表最多只能创建一个主键，但可以创建多个唯一索引。

主键更适合那些不容易更改的唯一标识，如自动递增列、身份证号等。

在 RBO 模式下，主键的执行计划优先级要高于唯一索引。两者可以提高查询的速度。

python反射

1.什么是反射：
把字符映射到实例的变量或实例的方法，然后可以去执行调用、修改
反射的本质(核心)：基于字符串的事件驱动，利用字符串的形式去操作对象/模块中成员(方法、属性)
2.反射的四个重要方法
1）getattr获取对象属性/对象方法
2）hasattr判断对象是否有对应的属性及方法
3）delattr删除指定的属性
4）setattr为对象设置内容

aes算法的特点

AES是美国国家标准技术研究所NIST旨在取代DES的21世纪的加密标准。AES是基于数据块的加密方式，也就是说，每次处理的数据是一块，16字节。

当数据不是16字节的倍数时填充，这就是所谓的分组密码、区别于基于比特位的流密码、、16字节是分组长度。AES共有ECB、CBC等多种模式。

rsa 算法特点

非对称算法特点
加密密钥和解密密钥不相同
密钥对中的第一个密钥可以公开（称为公开密钥）
根据公开密钥很难推算出私人密钥
并非所以非对称加密算法都可以同事用于密钥交换和数字签名。数字签名和密钥交换对公开密钥算法的要求有一定区别：
密钥交换算法使用公开密钥进行加密，使用私人密钥进行解密；而数字签名算法则使用私人密钥进行加密，使用公开密钥进行解密。
密钥交换算法要求从加密密钥（公开密钥）很难推算出解密密钥（私人密钥）；而数字签名算法则要求从解密密钥（公开密钥）很难推算出加密密钥（私人密钥）。
RSA加解密算法特点
加密特点：
a）输入数据不能超过RSA密钥的长度（根据不同的补齐方式能够加密的数据长度不一样）。
b）输出数据长度总是与RSA密钥长度相同。

对于量大的数据，一般需要预先进行数据分割。

解密特点：
a）输入的数据的长度总是跟密钥长度相同。

RSA签名、验签过程
使用摘要算法（SHA1，SHA2xx、MD5等）对签名原文进行计算，得到160位或128位摘要信息，然后再使用RSA算法进行加密从而完成该文件的数字签名过程。

验证时，使用同样的信息摘要算法对该文件进行运算得到信息摘要值，然后使用RSA算法（通常是公钥）进行解密得到签名方的信息摘要值，对比新计算的信息摘要值和解密得到的信息摘要值，如果一致，则签名验证成功。

闭包

1.什么是闭包?
闭包就是外部函数中定义一个内部函数，内部函数引用外部函数中的变量，外部函数的返回值是内部函数;

闭包是由函数及其相关的引用环境组合而成的实体(即：闭包=函数+引用环境) 在计算机科学中，闭包（英语：Closure），又称词法闭包（Lexical Closure）或函数闭包（function closures），是引用了自由变量的函数。这个被引用的自由变量将和这个函数一同存在，即使已经离开了创造它的环境也不例外。所以，有另一种说法认为闭包是由函数和与其相关的引用环境组合而成的实体。

闭包的特征
特征:

1.嵌套函数

2.内层函数引用了外层函数的变量

3.内层函数作为返回值返回给外层函数

特征2：

自由变量: 既不是局部变量，也不是模块全局变量；在闭包的时候：内层引用外层函数的变量

保存我们要执行代码的环境

执行的代码块和为自由变量提供绑定的计算环境两者的结合

当我们在外部函数中定义了一个内部函数，并且内部函数能够读取到外部函数内的变量，这种函数我们就称为闭包。简单来说，闭包就是能够读取外部函数内的变量的函数。闭包的架子大概是这样：

def demo_outer(x):
    def demo_inner(y):
        print("x的值：{}, y的值：{}, x + y 的值：{}".format(x, y, x + y))
    return demo_inner


do = demo_outer(12)
do(34)

x的值：12, y的值：34, x + y 的值：46

写爬虫是用多进程好？还是多线程好

多线程和多进程都是可以同时执行多个任务，进程和线程的调度是由操作系统自动完成。

进程：每个进程都有自己独立的内存空间，不同进程之间的内存空间不共享。每个进程相对独立，可以更好地利用多核CPU的资源。进程之间的通信由操作系统传递，导致通讯效率低，切换开销大。

线程：一个进程可以有多个线程，所有线程共享进程的内存空间，通讯效率高，切换开销小，但是对CPU的利用率不如进程。

IO密集型代码（文件处理、网络爬虫等），多线程能够有效提升效率（单线程下有IO操作会进行IO等待，造成不必要的时间浪费，而开启多线程能在线程A等待时，自动切换到线程B，可以不浪费CPU的资源，从而能提升程序执行效率）。在实际的数据采集过程中，既考虑网速和响应的问题，也需要考虑自身机器的硬件情况，来设置多线程或多进程
面试题集合
http://www.taodudu.cc/news/show-4621616.html