celery cluser redis_关于redis+celery

有一个想法，在flask的web界面中编辑代码，然后传入参数，把这个task扔进celery中执行。

celery中动态import写好的模块，在client传进celery的broker时，带入模块名和路径(或者路径写死)以及其他参数。

task的代码：

# celery task的代码

from celery import Celery

import imp

import sys

app = Celery('tasks', broker='redis://192.168.99.100:32787/0', backend='redis://192.168.99.100:32787/1')

def load(module_name, module_path):

fp, pathname, desctiption = imp.find_module(module_name, path=[module_path])

try:

return imp.load_module(module_name, fp, pathname, desctiption)

finally:

if fp:

fp.close()

@app.task

def import_module(module_name, module_path):

# return module_name

if module_name not in sys.modules:

do = load(module_name, module_path)

a = 1

else:

do = sys.modules[module_name]

a = 2

return do.test(), a

##############################################################

#client的代码：

for i in range(10):

result = import_module.delay('code', r"C:\Users\user\PycharmProjects\pandas_mongodb_test")

result.ready()

print(result.get())

测试成功！

然后发现一个有趣的玩意儿，在启动celery时，默认4个进程，然后收到4个任务以后，4个进程都会加载完module，当第五个任务进来时，4个进程因为都已经import完module了，所以可以直接从sys.modules中找到动态import的module