celery-APP在windows平台的发布方法(绿色免安装exe可搭配eventlet)

初级示例

先做了一个celery app

#filename clyapp.py
from celery import Celery
import sys,types
# Celery configuration
config={}
config['CELERY_BROKER_URL'] = 'redis://IP:6379/0'
config['result_backend'] = 'redis://IP:6379/0'
 
app = Celery('clyapp', broker=config['CELERY_BROKER_URL'] ,fixups=[])
app.conf.update( config)
app.control.purge()
@app.task(bind=True)
def add(self,a,b):
  return a+b
if __name__=='__main__':
    argv= [   'worker' , '-Pthreads' ,'-ldebug' ]
    app.start(argv)

#inshell
#python clyapp.py

然后client.py

 
import clyapp

r=clyapp.add.delay(2,3)
print(r.get())
#out put 5,input()

最后

pyinstaller -F  clyapp.py 

在dist目录找clyapp.exe,双击运行然后 python client.py
如果正常输出,将clyapp.exe拷贝到redis可抵达的其他机器,继续测试.应该也能输出.

进阶版

由于threads性能堪忧,而且celery.control.revoke(taskid)无法取消任务.提示方法没有实现,genvent测试也有异常, 经测试改用eventlet.可终止,响应很快.搭配更新状态,是window平台的推荐方式.
上代码

argv= [   'worker' , '-Pthreads' ,'-ldebug' ]

变更为

argv= [   'worker' , '-Peventlet' ,'-ldebug' ]

然后python clyapp.py
然后打开新cmd,python client.py
窗口可以收到请求消息,然后不会执行下面的任何动作.不能到任务里面去.
继续测试,

 celery  -A clyapp.app worker  -l info -P eventlet

新cmd,python client.py
celery窗口可以收到请求消息,然后执行,
client窗口可以得到返回结果5.
这里的celery方法不是python脚本, 是exe.而且依赖python环境,无法拷贝即用.所以需要找到一个转变celery.exe为,py脚本的方法.就能解决eventlet下,远程调用接到消息而不执行动作的毛病.

问题原因和解决办法

根据猜测,celery有自己的运行空间和权限,可以自由和eventlet交互,而app没有这个能力,无法与eventlet相互调用,使得app和eventlet,worker的关系会造成抓着自己的头发飞上天.应该也算交叉引用,死循环了. app->eventlet->app ,在第二步,evnetlet会拿起加载了的第一个app使用.而不是正常情况里的,开辟新载入并运行.这一点要靠celery.exe来完成.

因此从破解分拆celery.exe指令开始,它是python -m celery的合成体.

 python -m celery  -A clyapp.celery worker  -l info -P eventlet

这样也可行,eventlet正常执行动作
而python -m 的含义怎么转换为py脚本呢.查看
lib\site-package\celery_main_.py.
里面有main()的使用.可以直接引用完成自己的celery.exe
在clyapp.py同目录,自定义一个clymain.py

from  celery import __main__ 
#import clyapp
import sys
if __name__=='__main__':

  #  argv= [' -A clyapp.celery' ,'worker','-Pthreads' ,'-linfo' ]
   sys.argv= ['.','-A','clyapp.app' ,'worker','-P','eventlet' ,'-l','info' ]
  
   __main__.main()

这里如果没有sys.argv的赋值,那么这就是一个celery的绿色exe版本.
进入cmd

python  clymain.py

新cmd,
python client,py
可以执行.这是关键的一步.

• 但是如果存在import clyapp,还是会失败,所以必须注释掉.

clymain.py 包含import clyapp, 然后 main() 这应该是进入拽自己头发的境况.回到当初的python clyapp.py的启动方式.

生成最终版本的程序

• 解决hook
  目前clymain.py是celery的入口, clymain里的import clyapp必须注释掉.这导致
• pyinstall过程无法自动添加clyapp的依赖.

要想使用eventlet.就必须主程序不出现clyapp.
下面是解决办法:
编译的目录下新建hook,文件夹,命名hook-celery.py的文件

from PyInstaller.utils.hooks import collect_all
datas,binaries,hiddenimports=collect_all('celery')
datas,binaries,hiddenimports=collect_all('eventlet')

我的clyapp要用到requires这样的库,靠拷贝还是会报错. 要在hook目录下新建 hook-requests.py,

from PyInstaller.utils.hooks import collect_all
datas,binaries,hiddenimports=collect_all('requests')

这样就能解决requests的exe环境问题.其他三方库也是同样过程.

• 手工拷贝缺少的某些库

pyinstaller -D  clymain.py --additional-hooks-dir  hook

必须-D目录方式,这样才能把clyapp缺少库,手工拷贝到_interal目录下 .或者的clymain中,import一下,也有可能有效,否则就只拷贝或hook文件.

• 最后运行EXE
  最后将clyapp.py 调用的如图片文本,py文件,统统放在exe同目录下,运行clymain.exe测试,

此文解决eventlet的失去响应的方案,已经提交到geithub celery issue里.
本文正式结束,我要去包个饺子,庆祝一下.
借鉴:https://stackoverflow.com/questions/23389104/how-to-start-a-celery-worker-from-a-script-module-main
共享一个远程升级方法.

from zipfile import ZipFile


def support_gbk(zip_file: ZipFile):
    name_to_info = zip_file.NameToInfo
    # copy map first
    for name, info in name_to_info.copy().items():
        real_name = name.encode('cp437').decode('gbk')
        if real_name != name:
            info.filename = real_name
            del name_to_info[name]
            name_to_info[real_name] = info
    return zip_file
#https://blog.csdn.net/qq_21076851/article/details/122752196 
#要么是utf-8要么是cp437，然而咱们在windows平台上压缩包文件名编码大多是gbk，这里用cp437解码了
@app.task(bind=True)
def update(self,url2down):
    zipupdate=work4user.requests.get(url2down).content
    ff=io.BytesIO(requests.get(url2down).content)
    ret=''
    with  support_gbk(ZipFile(ff)) as zz:
        ret=','.join([i.filename for i in zz.filelist])
        zz.extractall()
    return f'请手工启动一次服务。本次更新以下文件：{ret}'