python多线程读取数据库数据_Python多线程编程以及数据库并发问题

一、先来讲讲进程、线程、协程的区别和应用场景

进程:

多进程适用于CUP密集型，可以多核操作，使用多进程稳定性好，当一个子进程崩溃了，不会影响主进程和其他子进程

线程：

多线程适用于I/O密集型，如果是I/O操作，多进程和多线程的表现都很不错，使用多线程效率会高一些，但是有一个致命的缺点，当一个子线程崩溃了，有可能导致整个进程都崩溃了，因为它们共享了进程资源

协程:

协程主要是为了提高CUP使用率，是一种协作式并发的编程，协程对象必须放在事件循环中才可以协作起来，协程完成交给程序员调度，通常适用于一些聊天软件

多线程编程要注意的几个事项

# GIL全局解释器锁GIL会根据执行的字节码行数以及时间片来释放GIL，遇到I/O操作的时候会释放，也正是因为这个特性，使得Python使用多线程在I/O操作频繁的情况下，实际上是非常适用的。# 线程间通信的俩种方式1-共享变量 global2-Queue三方库 消息队列在开发中保证线程间通信的方式使用第二种# 线程同步问题 Rlock 和 with 上下文使用多线程编程必然会存在死锁和相互等待，资源竞争的问题，解决这个问题，就可以使用Rlock(可重入锁)使用with上下文来判定一个线程执行完释放锁交给其他线程去执行程序

在开发过程中使用线程尽量使用线程池来操作

# 倒入三方库

from concurrent.futures.thread import ThreadPoolExecutor

# 实例化一个池对象

MAX_THREAD_WORKERS = 64

EXECUTOR = ThreadPoolExecutor(max_workers=MAX_THREAD_WORKERS)

# 会拿到一个 future对象

# 拿到返回结果

future.result

为了避免重复代码，可以使用装饰器的形式实现进程池。

def run_in_thread_pool(*, callbacks=(), callbacks_kwargs=()):

"""将函数放入线程池执行的装饰器"""

def decorator(func):

@wraps(func)

def wrapper(*args, **kwargs):

future = EXECUTOR.submit(func, *args, **kwargs)

for index, callback in enumerate(callbacks):

try:

kwargs = callbacks_kwargs[index]

except IndexError:

kwargs = None

fn = partial(callback, **kwargs) if kwargs else callback

future.add_done_callback(fn)

return future

return wrapper

return decorator

二、MySQL数据库并发问题以及解决方案

事物的ACID

原子性-事物要么全做要么全部做，遇到错误操作会回滚，不会停止在中间的某个环节一致性-事物从开始到结束，事物状态是保持一致的隔离性-事物在执行过程中，不会被别的事物打扰持久性-事物执行结束后，数据库的数据是持持久化的

数据库并发时会遇到的五个问题

当多个事务访问同一数据时，可能会存在5类问题，包括3类数据读取问题（脏读、不可重复读和幻读）和2类数据更新问题（第1类丢失更新和第2类丢失更新）。

# 脏读A事务读取B事务尚未提交的数据并在此基础上操作，而B事务执行回滚，那么A读取到的数据就是脏数据。# 不可重复读事务A重新读取前面读取过的数据，发现该数据已经被另一个已提交的事务B修改过了。# 幻读事务A重新执行一个查询，返回一系列符合查询条件的行，发现其中插入了被事务B提交的行。# 第一类丢失更新事务A撤销时，把已经提交的事务B的更新数据覆盖了。# 第二类丢失更新事务A覆盖事务B已经提交的数据，造成事务B所做的操作丢失。

上述问题，解决方法就是修改事物隔离级别

四种事物隔离级别

# 第一种READ UNCOMMITTED （读未提交）< 可能会遇到 （脏读），（幻读），（不可重复读），（第二类丢失更新），只能避免第一类丢失更新不发生，其他问题都会遇到# 第二种READ COMMITTED（读提交）可以避免读脏数据，第一类丢失更新，会出现其他问题，对于大多数应用来说，这个就够了。如果是那种统计型业务，会达到可重复读事物隔离级别，这个时候可以临时调整，只需要修改当前会话的事物隔离级别就行了。# 第三种REPEATAblE READ（MySQL默认-可重复读）# 第四种SERIALZABLE （事物最高级别）五种问题都可以避免，但是意味着就没有并发了，所有的操作全部排队来做，所以事物隔离级别越高，数据安全性越高，但是性能就越差，一般应用设置到 （读提交就OK了）

查看当前事物隔离级别

select @@tx_isolation;

修改当前事物隔离级别

set session transaction isolation level read committed;

修改全局事物隔离级别

set global transaction isolation level read committed;

修改事物隔离级别的时候，只需要修改当前就可以了，全局的尽量不要使用。