Django mysql 多线程_Django异步任务线程池

当数据库数据量很大时(百万级)，许多批量数据修改请求的响应会非常慢，一些不需要即时响应的任务可以放到后台的异步线程中完成，发起异步任务的请求就可以立即响应

选择用线程池的原因是：线程比进程更为可控。不像子进程，子线程会在所属进程结束时立即结束。线程可共享内存。

请求任务异步处理的原理

使用python manage.py runserver模式启动的Django应用只有一个进程，对于每个请求，主线程会开启一个子线程来处理请求。请求子线程向主线程申请一个新线程，然后把耗时的任务交给新线程，自身立即响应，这就是请求任务异步处理的原理。

可视化线程池

如果想要管理这批异步线程，知道他们是否在运行中，可以使用线程池(ThreadPoolExecutor)。

线程池会先启动若干数量的线程，并让这些线程都处于睡眠状态，当向线程池submit一个任务后，会唤醒线程池中的某一个睡眠线程，让它来处理这个任务，当处理完这个任务，线程又处于睡眠状态。

submit任务后会返回一个期程(future)，这个对象可以查看线程池中执行此任务的线程是否仍在处理中

因此可以构建一个全局可视化线程池：

from concurrent.futures.thread import ThreadPoolExecutor

class ThreadPool(object):

def __init__(self):

# 线程池

self.executor = ThreadPoolExecutor(20)

# 用于存储每个项目批量任务的期程

self.future_dict = {}