一、先来讲讲进程、线程、协程的区别和应用场景
进程:
多进程适用于CUP密集型,可以多核操作,使用多进程稳定性好,当一个子进程崩溃了,不会影响主进程和其他子进程
线程:
多线程适用于I/O密集型,如果是I/O操作,多进程和多线程的表现都很不错,使用多线程效率会高一些,但是有一个致命的缺点,当一个子线程崩溃了,有可能导致整个进程都崩溃了,因为它们共享了进程资源
协程:
协程主要是为了提高CUP使用率,是一种协作式并发的编程,协程对象必须放在事件循环中才可以协作起来,协程完成交给程序员调度,通常适用于一些聊天软件
多线程编程要注意的几个事项
# GIL全局解释器锁
GIL会根据执行的字节码行数以及时间片来释放GIL,遇到I/O操作的时候会释放,也正是因为这个特性,使得Python使用多线程在I/O操作频繁的情况下,实际上是非常适用的。
# 线程间通信的俩种方式
1-共享变量 global
2-Queue三方库 消息队列
在开发中保证线程间通信的方式使用第二种
# 线程同步问题 Rlock 和 with 上下文
使用多线程编程必然会存在死锁和相互等待,资源竞争的问题,解决这个问题,就可以使用Rlock(可重入锁)
使用with上下文来判定一个线程执行完释放锁交给其他线程去执行程序
在开发过程中使用线程尽量使用线程池来操作
# 倒入三方库
from concurrent.futures.thread import ThreadPoolExecutor
# 实例化一个池对象
MAX_THREAD_WORKERS = 64
EXECUTOR = ThreadPoolExecutor(max_workers=MAX_THREAD_WORKERS)
# 会拿到一个 future对象
# 拿到返回结果
future.result
为了避免重复代码,可以使用装饰器的形式实现进程池。
def run_in_thread_pool(*, callbacks=(), callbacks_kwargs=()):
"""将函数放入线程池执行的装饰器"""
def decorator(func):
@wraps(func)
def wrapper(*args, **kwargs):
future = EXECUTOR.submit(func, *args, **kwargs)
for index, callback in enumerate(callbacks):
try:
kwargs = callbacks_kwargs[index]
except IndexError:
kwargs = None
fn = partial(callback, **kwargs) if kwargs else callback
future.add_done_callback(fn)
return future
return wrapper
return decorator
二、MySQL数据库并发问题以及解决方案
事物的ACID
原子性-事物要么全做要么全部做,遇到错误操作会回滚,不会停止在中间的某个环节
一致性-事物从开始到结束,事物状态是保持一致的
隔离性-事物在执行过程中,不会被别的事物打扰
持久性-事物执行结束后,数据库的数据是持持久化的
数据库并发时会遇到的五个问题
当多个事务访问同一数据时,可能会存在5类问题,包括3类数据读取问题(脏读、不可重复读和幻读)和2类数据更新问题(第1类丢失更新和第2类丢失更新)。
# 脏读
A事务读取B事务尚未提交的数据并在此基础上操作,而B事务执行回滚,那么A读取到的数据就是脏数据。
# 不可重复读
事务A重新读取前面读取过的数据,发现该数据已经被另一个已提交的事务B修改过了。
# 幻读
事务A重新执行一个查询,返回一系列符合查询条件的行,发现其中插入了被事务B提交的行。
# 第一类丢失更新
事务A撤销时,把已经提交的事务B的更新数据覆盖了。
# 第二类丢失更新
事务A覆盖事务B已经提交的数据,造成事务B所做的操作丢失。
上述问题,解决方法就是修改事物隔离级别
四种事物隔离级别
# 第一种
READ UNCOMMITTED (读未提交)< 可能会遇到 (脏读),(幻读),(不可重复读),(第二类丢失更新),只能避免第一类丢失更新不发生,其他问题都会遇到
# 第二种
READ COMMITTED(读提交)可以避免读脏数据,第一类丢失更新,会出现其他问题,对于大多数应用来说,这个就够了。如果是那种统计型业务,会达到可重复读事物隔离级别,这个时候可以临时调整,只需要修改当前会话的事物隔离级别就行了。
# 第三种
REPEATAblE READ(MySQL默认-可重复读)
# 第四种
SERIALZABLE (事物最高级别)五种问题都可以避免,但是意味着就没有并发了,所有的操作全部排队来做,所以事物隔离级别越高,数据安全性越高,但是性能就越差,一般应用设置到 (读提交就OK了)
查看当前事物隔离级别
select @@tx_isolation;
修改当前事物隔离级别
set session transaction isolation level read committed;
修改全局事物隔离级别
set global transaction isolation level read committed;
修改事物隔离级别的时候,只需要修改当前就可以了,全局的尽量不要使用。