Celery - Group并发特性的疑问与总结

最新推荐文章于 2021-12-07 18:15:39 发布
最新推荐文章于 2021-12-07 18:15:39 发布
阅读量2.7k 收藏 2
点赞数 3
分类专栏： Celery
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012720518/article/details/107085789
版权

学习完官方博客后对group一个特性仍旧有着一些疑问点，现做实验并记录下来：

问题1： group的并发是指什么？

疑问点： 启动10个worker。普通情况下，依次扔入10个tasks，是否是由10个worker同时获取后执行？Group情况下，依次扔入10个tasks，是由1个worker一次性处理还是由10个worker同时处理10个tasks实现？

答：普通情况下，启动10个worker后向broker中扔入10个tasks，是由1个worker顺次处理这10个tasks。Group情况下，启动10个worker后扔入1个包含10个task的group，是由10个worker同时处理10个task。

普通情况下测试： 测试生成10个异步任务，观察10个任务是一次性堆放到broker中还是顺次一个一个放到broker中。以及10个worker是会同时触发还是由1个worker执行全部任务。

from proj.tasks import add
from celery import group

if __name__ == '__main__':
   for i in range(10):
       res = add.delay(i, i)
       print(res.get())

测试结果：

python client.py
0
...

查看worker中任务的执行情况，当顺次触发10个任务时，是由1个worker依次获取到当前任务并执行。

celery -A proj.tasks inspect active
-> celery@k8s-master: OK
    * {'args': [0, 0], 'time_start': 1593677240.2096095, 'name': 'proj.tasks.add', 'delivery_info': {'priority': 0, 'redelivered': None, 'routing_key': 'celery', 'exchange': u''}, 'hostname': 'celery@k8s-master', 'acknowledged': True, 'kwargs': {}, 'type': 'proj.tasks.add', 'id': 'c505b9d5-e6ba-4dfe-bcff-ece91fc39252', 'worker_pid': 10990}

服务端获取情况，能够观察出是由一个task获取任务执行完毕后在接受第二个task，顺次执行。

[2020-07-02 16:07:20,208: INFO/MainProcess] Received task: proj.tasks.add[c505b9d5-e6ba-4dfe-bcff-ece91fc39252]
[2020-07-02 16:07:25,222: INFO/ForkPoolWorker-10] Task proj.tasks.add[c505b9d5-e6ba-4dfe-bcff-ece91fc39252] succeeded in 5.012286833s: 0
[2020-07-02 16:07:25,225: INFO/MainProcess] Received task: proj.tasks.add[6f93e8da-cd33-4960-8bff-4fb92361fe20]
[2020-07-02 16:07:30,234: INFO/ForkPoolWorker-10] Task proj.tasks.add[6f93e8da-cd33-4960-8bff-4fb92361fe20] succeeded in 5.007919535s: 2
[2020-07-02 16:07:30,237: INFO/MainProcess] Received task: proj.tasks.add[bab2a232-9ccc-4c95-9e55-7e2b70eddf0c]
[2020-07-02 16:07:35,245: INFO/ForkPoolWorker-10] Task proj.tasks.add[bab2a232-9ccc-4c95-9e55-7e2b70eddf0c] succeeded in 5.007347468s: 4
...

Group情况下测试，测试生成10个异步任务，是由1个worker获取group包中的10个任务依次执行还是由10个worker拿取group包中的任务一次性执行。

from proj.tasks import add
from celery import group

if __name__ == '__main__':
   res = group(add.s(i, i) for i in range(10))()
   print(res.get())

查看worker中任务的执行情况，是由10个worker同时获取group中包含的tasks然后一起执行，各个任务同进同退。

celery -A proj.tasks inspect active
-> celery@k8s-master: OK
    * {'args': [9, 9], 'time_start': 1593678890.5774257, 'name': 'proj.tasks.add', 'delivery_info': {'priority': 0, 'redelivered': None, 'routing_key': 'celery', 'exchange': u''}, 'hostname': 'celery@k8s-master', 'acknowledged': True, 'kwargs': {}, 'type': 'proj.tasks.add', 'id': '86a881dd-e389-40ec-9660-68a64cea624d', 'worker_pid': 12323}
    * {'args': [1, 1], 'time_start': 1593678890.544256, 'name': 'proj.tasks.add', 'delivery_info': {'priority': 0, 'redelivered': None, 'routing_key': 'celery', 'exchange': u''}, 'hostname': 'celery@k8s-master', 'acknowledged': True, 'kwargs': {}, 'type': 'proj.tasks.add', 'id': 'b4febc78-0d88-45a4-986d-e991d21087cd', 'worker_pid': 12322}
    * {'args': [4, 4], 'time_start': 1593678890.5624309, 'name': 'proj.tasks.add', 'delivery_info': {'priority': 0, 'redelivered': None, 'routing_key': 'celery', 'exchange': u''}, 'hostname': 'celery@k8s-master', 'acknowledged': True, 'kwargs': {}, 'type': 'proj.tasks.add', 'id': 'f814cfb0-a682-408b-896e-015247503927', 'worker_pid': 12329}
    * {'args': [7, 7], 'time_start': 1593678890.5720773, 'name': 'proj.tasks.add', 'delivery_info': {'priority': 0, 'redelivered': None, 'routing_key': 'celery', 'exchange': u''}, 'hostname': 'celery@k8s-master', 'acknowledged': True, 'kwargs': {}, 'type': 'proj.tasks.add', 'id': '7032c8c3-6098-4425-87ed-94c0b025e4c9', 'worker_pid': 12325}
    * {'args': [6, 6], 'time_start': 1593678890.5692344, 'name': 'proj.tasks.add', 'delivery_info': {'priority': 0, 'redelivered': None, 'routing_key': 'celery', 'exchange': u''}, 'hostname': 'celery@k8s-master', 'acknowledged': True, 'kwargs': {}, 'type': 'proj.tasks.add', 'id': '4cb111e1-8ae9-4c00-a84a-4166f7b11adf', 'worker_pid': 12327}
    * {'args': [2, 2], 'time_start': 1593678890.5505195, 'name': 'proj.tasks.add', 'delivery_info': {'priority': 0, 'redelivered': None, 'routing_key': 'celery', 'exchange': u''}, 'hostname': 'celery@k8s-master', 'acknowledged': True, 'kwargs': {}, 'type': 'proj.tasks.add', 'id': '6ab3edda-d984-44c1-b4b1-410cb7d392ec', 'worker_pid': 12324}
    * {'args': [0, 0], 'time_start': 1593678890.5383272, 'name': 'proj.tasks.add', 'delivery_info': {'priority': 0, 'redelivered': None, 'routing_key': 'celery', 'exchange': u''}, 'hostname': 'celery@k8s-master', 'acknowledged': True, 'kwargs': {}, 'type': 'proj.tasks.add', 'id': '2d52fb6d-c5c3-4717-8e2d-8ec600e2f986', 'worker_pid': 12330}
    * {'args': [8, 8], 'time_start': 1593678890.5748217, 'name': 'proj.tasks.add', 'delivery_info': {'priority': 0, 'redelivered': None, 'routing_key': 'celery', 'exchange': u''}, 'hostname': 'celery@k8s-master', 'acknowledged': True, 'kwargs': {}, 'type': 'proj.tasks.add', 'id': '49a18ff7-5273-458d-9da1-b4b7bb894610', 'worker_pid': 12321}
    * {'args': [5, 5], 'time_start': 1593678890.5663877, 'name': 'proj.tasks.add', 'delivery_info': {'priority': 0, 'redelivered': None, 'routing_key': 'celery', 'exchange': u''}, 'hostname': 'celery@k8s-master', 'acknowledged': True, 'kwargs': {}, 'type': 'proj.tasks.add', 'id': '1f67b692-c5ff-4fb0-9d64-6ec6b2fe9d03', 'worker_pid': 12328}
    * {'args': [3, 3], 'time_start': 1593678890.5566044, 'name': 'proj.tasks.add', 'delivery_info': {'priority': 0, 'redelivered': None, 'routing_key': 'celery', 'exchange': u''}, 'hostname': 'celery@k8s-master', 'acknowledged': True, 'kwargs': {}, 'type': 'proj.tasks.add', 'id': '8d194b13-231f-4e24-8625-0916888715b9', 'worker_pid': 12326}

查看服务端的日志:

[2020-07-02 16:34:50,537: INFO/MainProcess] Received task: proj.tasks.add[2d52fb6d-c5c3-4717-8e2d-8ec600e2f986]
[2020-07-02 16:34:50,543: INFO/MainProcess] Received task: proj.tasks.add[b4febc78-0d88-45a4-986d-e991d21087cd]
[2020-07-02 16:34:50,549: INFO/MainProcess] Received task: proj.tasks.add[6ab3edda-d984-44c1-b4b1-410cb7d392ec]
[2020-07-02 16:34:50,555: INFO/MainProcess] Received task: proj.tasks.add[8d194b13-231f-4e24-8625-0916888715b9]
[2020-07-02 16:34:50,561: INFO/MainProcess] Received task: proj.tasks.add[f814cfb0-a682-408b-896e-015247503927]
[2020-07-02 16:34:50,565: INFO/MainProcess] Received task: proj.tasks.add[1f67b692-c5ff-4fb0-9d64-6ec6b2fe9d03]
[2020-07-02 16:34:50,568: INFO/MainProcess] Received task: proj.tasks.add[4cb111e1-8ae9-4c00-a84a-4166f7b11adf]
[2020-07-02 16:34:50,571: INFO/MainProcess] Received task: proj.tasks.add[7032c8c3-6098-4425-87ed-94c0b025e4c9]
[2020-07-02 16:34:50,573: INFO/MainProcess] Received task: proj.tasks.add[49a18ff7-5273-458d-9da1-b4b7bb894610]
[2020-07-02 16:34:50,576: INFO/MainProcess] Received task: proj.tasks.add[86a881dd-e389-40ec-9660-68a64cea624d]
[2020-07-02 16:34:55,545: INFO/ForkPoolWorker-10] Task proj.tasks.add[2d52fb6d-c5c3-4717-8e2d-8ec600e2f986] succeeded in 5.006528486s: 0
[2020-07-02 16:34:55,550: INFO/ForkPoolWorker-2] Task proj.tasks.add[b4febc78-0d88-45a4-986d-e991d21087cd] succeeded in 5.006150627s: 2
[2020-07-02 16:34:55,556: INFO/ForkPoolWorker-4] Task proj.tasks.add[6ab3edda-d984-44c1-b4b1-410cb7d392ec] succeeded in 5.006233327s: 4
[2020-07-02 16:34:55,562: INFO/ForkPoolWorker-6] Task proj.tasks.add[8d194b13-231f-4e24-8625-0916888715b9] succeeded in 5.00582992s: 6
[2020-07-02 16:34:55,568: INFO/ForkPoolWorker-9] Task proj.tasks.add[f814cfb0-a682-408b-896e-015247503927] succeeded in 5.005885954s: 8
[2020-07-02 16:34:55,571: INFO/ForkPoolWorker-8] Task proj.tasks.add[1f67b692-c5ff-4fb0-9d64-6ec6b2fe9d03] succeeded in 5.005210609s: 10
[2020-07-02 16:34:55,575: INFO/ForkPoolWorker-5] Task proj.tasks.add[7032c8c3-6098-4425-87ed-94c0b025e4c9] succeeded in 5.003435009s: 14
[2020-07-02 16:34:55,576: INFO/ForkPoolWorker-7] Task proj.tasks.add[4cb111e1-8ae9-4c00-a84a-4166f7b11adf] succeeded in 5.006741387s: 12
[2020-07-02 16:34:55,581: INFO/ForkPoolWorker-3] Task proj.tasks.add[86a881dd-e389-40ec-9660-68a64cea624d] succeeded in 5.003766181s: 18
[2020-07-02 16:34:55,581: INFO/ForkPoolWorker-1] Task proj.tasks.add[49a18ff7-5273-458d-9da1-b4b7bb894610] succeeded in 5.006813998s: 16

总结： 依次启动某个task的异步调用，会使得这类task依次被MainProcess进程捕获然后由某一个worker去执行，待执行完成后再依次启动下一个task重复上述过程。而若想一次性创建多个任务同时被MainProcess进程捕获并被并发执行，则可以利用Group将若干个任务进行打包。

问题2， 不同的task依次启动和利用Group打包并启动有什么区别？

答：在同一个Py脚本中，依次启动若干个task无论其是否为同一个类型，主程序均会顺次捕获task然后依次执行。而Group打包的task不仅能够是同一类型的task也可以是不同类型的task。

依次启动若干个task

from proj.tasks import add, less, mul, exc
from celery import group

if __name__ == '__main__':
   for i in range(10):
       res_add = add.delay(i, i)
       print(res_add.get())

       res_less = less.delay(10, i)
       print(res_less.get())

       res_mul = mul.delay(i, i)
       print(res_mul.get())

       res_exc = exc.delay(i, 10)
       print(res_exc.get())

查看worker中的执行情况，可以看到一个worker中仅有一个task在执行。

celery -A proj.tasks inspect active
-> celery@k8s-master: OK
    * {'args': [10, 1], 'time_start': 1593680790.34875, 'name': 'proj.tasks.add', 'delivery_info': {'priority': 0, 'redelivered': None, 'routing_key': 'celery', 'exchange': u''}, 'hostname': 'celery@k8s-master', 'acknowledged': True, 'kwargs': {}, 'type': 'proj.tasks.add', 'id': 'ac8f4901-fb3a-4eba-ab61-282b83e47f28', 'worker_pid': 13990}

查看服务端的运行情况:

[2020-07-02 17:14:07,796: INFO/ForkPoolWorker-3] Task proj.tasks.add[28661b19-20d3-45c1-bdc5-7dd11db5eeff] succeeded in 0.012954075999s: 0
[2020-07-02 17:14:07,799: INFO/MainProcess] Received task: proj.tasks.less[eb7ddfa4-dbfb-48e0-a8a7-7a0b220880f7]
[2020-07-02 17:14:07,805: INFO/ForkPoolWorker-3] Task proj.tasks.less[eb7ddfa4-dbfb-48e0-a8a7-7a0b220880f7] succeeded in 0.00412611799948s: 10
[2020-07-02 17:14:07,808: INFO/MainProcess] Received task: proj.tasks.mul[b10aed1d-0624-4999-9664-d34a85b36874]
[2020-07-02 17:14:07,811: INFO/ForkPoolWorker-3] Task proj.tasks.mul[b10aed1d-0624-4999-9664-d34a85b36874] succeeded in 0.0022069000006s: 0
[2020-07-02 17:14:07,816: INFO/MainProcess] Received task: proj.tasks.exc[0a5c6b5a-5d62-4d8c-a916-60de24716e9b]
[2020-07-02 17:14:07,819: INFO/ForkPoolWorker-3] Task proj.tasks.exc[0a5c6b5a-5d62-4d8c-a916-60de24716e9b] succeeded in 0.00149728500037s: 0
[2020-07-02 17:14:07,824: INFO/MainProcess] Received task: proj.tasks.add[38a111a4-4638-4eea-ae19-a98ca55e5ea1]
[2020-07-02 17:14:07,827: INFO/ForkPoolWorker-3] Task proj.tasks.add[38a111a4-4638-4eea-ae19-a98ca55e5ea1] succeeded in 0.00158845900114s: 2
[2020-07-02 17:14:07,831: INFO/MainProcess] Received task: proj.tasks.less[6f7bb279-dd29-4867-9bb9-55e482ba5e45]
[2020-07-02 17:14:07,836: INFO/ForkPoolWorker-3] Task proj.tasks.less[6f7bb279-dd29-4867-9bb9-55e482ba5e45] succeeded in 0.00343750799948s: 9
[2020-07-02 17:14:07,839: INFO/MainProcess] Received task: proj.tasks.mul[c90664c7-c444-47ee-9756-9545c4d8cc5d]
[2020-07-02 17:14:07,843: INFO/ForkPoolWorker-3] Task proj.tasks.mul[c90664c7-c444-47ee-9756-9545c4d8cc5d] succeeded in 0.00330464900071s: 1

将若干个task同时打包

from proj.tasks import add, less, mul, exc
from celery import group

if __name__ == '__main__':
   res = group(add.s(1, 1), less.s(10, 3), mul.s(3, 1), exc.s(4, 10), add.s(5, 10))()
   print(res.get())

查看worker端的捕获情况，5个任务同时获取并且在执行。

celery -A proj.tasks inspect active
-> celery@k8s-master: OK
    * {'args': [10, 3], 'time_start': 1593682284.8107345, 'name': 'proj.tasks.less', 'delivery_info': {'priority': 0, 'redelivered': None, 'routing_key': 'celery', 'exchange': u''}, 'hostname': 'celery@k8s-master', 'acknowledged': True, 'kwargs': {}, 'type': 'proj.tasks.less', 'id': '9325508a-cbb8-40f4-b58b-55dcc421fa3b', 'worker_pid': 15680}
    * {'args': [4, 10], 'time_start': 1593682284.8200846, 'name': 'proj.tasks.exc', 'delivery_info': {'priority': 0, 'redelivered': None, 'routing_key': 'celery', 'exchange': u''}, 'hostname': 'celery@k8s-master', 'acknowledged': True, 'kwargs': {}, 'type': 'proj.tasks.exc', 'id': '75a9ecb0-7299-4747-b398-3d229c5237f9', 'worker_pid': 15676}
    * {'args': [3, 1], 'time_start': 1593682284.8166103, 'name': 'proj.tasks.mul', 'delivery_info': {'priority': 0, 'redelivered': None, 'routing_key': 'celery', 'exchange': u''}, 'hostname': 'celery@k8s-master', 'acknowledged': True, 'kwargs': {}, 'type': 'proj.tasks.mul', 'id': '4005e4dc-4b3b-490d-93a0-a21b1742f8fc', 'worker_pid': 15674}
    * {'args': [5, 10], 'time_start': 1593682284.8231542, 'name': 'proj.tasks.add', 'delivery_info': {'priority': 0, 'redelivered': None, 'routing_key': 'celery', 'exchange': u''}, 'hostname': 'celery@k8s-master', 'acknowledged': True, 'kwargs': {}, 'type': 'proj.tasks.add', 'id': '8c15f143-8dd1-4a99-a53d-edebe458c23f', 'worker_pid': 15677}
    * {'args': [1, 1], 'time_start': 1593682284.804, 'name': 'proj.tasks.add', 'delivery_info': {'priority': 0, 'redelivered': None, 'routing_key': 'celery', 'exchange': u''}, 'hostname': 'celery@k8s-master', 'acknowledged': True, 'kwargs': {}, 'type': 'proj.tasks.add', 'id': '2fc41380-c644-4b92-a3b7-0ff0657af0b0', 'worker_pid': 15681}

查看服务端的执行情况，同时获取若干个task然后并发执行。

[2020-07-02 17:31:24,802: INFO/MainProcess] Received task: proj.tasks.add[2fc41380-c644-4b92-a3b7-0ff0657af0b0]
[2020-07-02 17:31:24,809: INFO/MainProcess] Received task: proj.tasks.less[9325508a-cbb8-40f4-b58b-55dcc421fa3b]
[2020-07-02 17:31:24,815: INFO/MainProcess] Received task: proj.tasks.mul[4005e4dc-4b3b-490d-93a0-a21b1742f8fc]
[2020-07-02 17:31:24,819: INFO/MainProcess] Received task: proj.tasks.exc[75a9ecb0-7299-4747-b398-3d229c5237f9]
[2020-07-02 17:31:24,822: INFO/MainProcess] Received task: proj.tasks.add[8c15f143-8dd1-4a99-a53d-edebe458c23f]
[2020-07-02 17:31:29,852: INFO/ForkPoolWorker-10] Task proj.tasks.add[2fc41380-c644-4b92-a3b7-0ff0657af0b0] succeeded in 5.048288559s: 2
[2020-07-02 17:31:29,854: INFO/ForkPoolWorker-9] Task proj.tasks.less[9325508a-cbb8-40f4-b58b-55dcc421fa3b] succeeded in 5.043351114s: 7
[2020-07-02 17:31:29,856: INFO/ForkPoolWorker-3] Task proj.tasks.mul[4005e4dc-4b3b-490d-93a0-a21b1742f8fc] succeeded in 5.039019935s: 3
[2020-07-02 17:31:29,857: INFO/ForkPoolWorker-6] Task proj.tasks.add[8c15f143-8dd1-4a99-a53d-edebe458c23f] succeeded in 5.033975073s: 15
[2020-07-02 17:31:29,858: INFO/ForkPoolWorker-5] Task proj.tasks.exc[75a9ecb0-7299-4747-b398-3d229c5237f9] succeeded in 5.038492595s: 0

问题3， 如何不利用Group而实现并发？

答： 执行若干个client脚本模拟并发。写4个task脚本分别如下:
脚本1

from proj.tasks import add, less, mul, exc
from celery import group

if __name__ == '__main__':
   res_add = add.delay(5, 5)
   print(res_add.get())

脚本2

from proj.tasks import add, less, mul, exc
from celery import group

if __name__ == '__main__':
   res = less.delay(10, 3)
   print(res.get())

脚本3

from proj.tasks import add, less, mul, exc
from celery import group

if __name__ == '__main__':
   res = mul.delay(1, 1)
   print(res.get())

脚本4

from proj.tasks import add, less, mul, exc
from celery import group

if __name__ == '__main__':
   res = exc.delay(1, 1)
   print(res.get())

同时运行，然后查看worker中的执行情况，同时获取4个执行的task。

celery -A proj.tasks inspect active
-> celery@k8s-master: OK
    * {'args': [5, 5], 'time_start': 1593683563.1538188, 'name': 'proj.tasks.add', 'delivery_info': {'priority': 0, 'redelivered': None, 'routing_key': 'celery', 'exchange': u''}, 'hostname': 'celery@k8s-master', 'acknowledged': True, 'kwargs': {}, 'type': 'proj.tasks.add', 'id': '8400c80b-b11a-4070-bcc7-66850d793c86', 'worker_pid': 16399}
    * {'args': [1, 1], 'time_start': 1593683566.5997114, 'name': 'proj.tasks.exc', 'delivery_info': {'priority': 0, 'redelivered': None, 'routing_key': 'celery', 'exchange': u''}, 'hostname': 'celery@k8s-master', 'acknowledged': True, 'kwargs': {}, 'type': 'proj.tasks.exc', 'id': '1336abc3-dcd7-4738-96ad-edf43f85d855', 'worker_pid': 16405}
    * {'args': [10, 3], 'time_start': 1593683564.411672, 'name': 'proj.tasks.less', 'delivery_info': {'priority': 0, 'redelivered': None, 'routing_key': 'celery', 'exchange': u''}, 'hostname': 'celery@k8s-master', 'acknowledged': True, 'kwargs': {}, 'type': 'proj.tasks.less', 'id': 'a7fa5ec4-208f-4b05-944a-c364199ea4a8', 'worker_pid': 16402}
    * {'args': [1, 1], 'time_start': 1593683565.535897, 'name': 'proj.tasks.mul', 'delivery_info': {'priority': 0, 'redelivered': None, 'routing_key': 'celery', 'exchange': u''}, 'hostname': 'celery@k8s-master', 'acknowledged': True, 'kwargs': {}, 'type': 'proj.tasks.mul', 'id': '164c782e-b578-483c-a651-2229f0d22dce', 'worker_pid': 16406}

查看服务端执行情况:

[2020-07-02 17:53:31,472: INFO/MainProcess] Received task: proj.tasks.add[f4e15c12-752e-460d-a231-083b2124ff5b]
[2020-07-02 17:53:32,594: INFO/MainProcess] Received task: proj.tasks.less[77799810-123e-427a-b274-cd79fea5f205]
[2020-07-02 17:53:33,569: INFO/MainProcess] Received task: proj.tasks.mul[f140054b-1685-4203-a3d3-7db7c04b93b2]
[2020-07-02 17:53:34,552: INFO/MainProcess] Received task: proj.tasks.exc[10a126fd-c201-425e-967f-5bab52692fc9]
[2020-07-02 17:53:36,483: INFO/ForkPoolWorker-9] Task proj.tasks.add[f4e15c12-752e-460d-a231-083b2124ff5b] succeeded in 5.009999946s: 10
[2020-07-02 17:53:37,605: INFO/ForkPoolWorker-2] Task proj.tasks.less[77799810-123e-427a-b274-cd79fea5f205] succeeded in 5.010251414s: 7
[2020-07-02 17:53:38,580: INFO/ForkPoolWorker-5] Task proj.tasks.mul[f140054b-1685-4203-a3d3-7db7c04b93b2] succeeded in 5.009864301s: 1
[2020-07-02 17:53:39,563: INFO/ForkPoolWorker-8] Task proj.tasks.exc[10a126fd-c201-425e-967f-5bab52692fc9] succeeded in 5.009972664s: 1

附录

实验中所用到的tasks.py代码如下

from __future__ import absolute_import, unicode_literals, print_function
from .config import app

import os
import time

@app.task
def add(x, y):
    time.sleep(5)
    return x + y

@app.task
def mul(x, y):
    time.sleep(5)
    return x * y

@app.task
def less(x, y):
    time.sleep(5)
    return x - y

@app.task
def exc(x, y):
    time.sleep(5)
    return x / y

@app.task
def xsum(numbers):
    return sum(numbers)

@app.task
def temp():
    return [xsum(range(10)), xsum(range(100))]

@app.task
def temp1():
    return [add(i, i) for i in range(10)]

@app.task
def tsum(numbers):
    return sum(numbers)

@app.task
def log_error(request, exc, traceback):
    with open(os.path.join('/var/errors', request.id), 'a') as fh:
        print('--\n\n{0} {1} {2}'.format(task_id, exc, traceback), file = fh)

@app.task
def on_chord_error(request, exc, traceback):
    print('Task {0!r} raised error: {1!r}'.format(request.id, exc))
fighting--sky
关注
专栏目录
django项目中celery对于并发操作的分配
lvbu89757的博客
07-02 1939
Celery 官方文档 celery官方文档 解决的问题 celery解决了并发操作中耗时操作的等待问题，比如之前的手机验证码和邮箱验证码的发送，都是耗时操作，celery让这些操作可以并行操作减少等待时间 安装celery 在虚拟环境中，键入 pip install celery 就可以安装了 配置celery celery需要指定数据库，可以用rabbitMQ和redis，由于redis存取...
Python并行分布式框架Celery详解
wx1871428的博客
06-23 2048
Celery 简介 除了redis，还可以使用另外一个神器—Celery。Celery是一个异步任务的调度工具。 Celery 是 Distributed Task Queue，分布式任务队列，分布式决定了可以有多个 worker 的存在，队列表示其是异步操作，即存在一个产生任务提出需求的工头，和一群等着被分配工作的码农。 在 Python 中定义 Celery 的时候，我们要引入 Broker，中文翻译过来就是“中间人”的意思，在这里 Broker 起到一个中间人的角色。在工头提出任务的时候，把所有的任务
python使用celery-group优化大数据处理速度
不写代码的博客
12-19 1733
celery-group的使用 配置 为子任务配置独立的celery进程 from kombu import Exchange, Queue default_exchange = Exchange('default', type='direct') concurrency_exchange = Exchange('concurrency', type='direct') app.conf.t...
celery
weixin_30410999的博客
05-07 255
分布式任务队列Celery入门与进阶 一、简介 　　Celery是由Python开发、简单、灵活、可靠的分布式任务队列，其本质是生产者消费者模型，生产者发送任务到消息队列，消费者负责处理任务。Celery侧重于实时操作，但对调度支持也很好，其每天可以处理数以百万计的任务。特点： 简单：熟悉celery的工作流程后，配置使用简单 高可用：当任务执行失败或执行过程中发生连接中...
使用celery canvas中的group任务类型实现分组任务
四月的水的博客
05-22 1810
1. 需求背景： 某个业务需求实现过程需要对发布到celery的异步任务进行拆分，得到两个并行执行的子任务，同时在主任务的进度反馈中需要更新子任务的进度； 2. 实现方案： 1. 任务发布端通过 "send_task()" 方式进行任务发布； 2. worker接收到任务后，创建 group 任务，子任务的调用方式为 "task signature"; 3. 进度的更新利用了 celery res.get() 方法中的 "on_message" 回调进行任务状...
celery配置使用
kk123a的专栏
07-06 2万+
一. celery 简介 Celery 是一个专注于实时处理和任务调度的分布式任务队列, 同时提供操作和维护分布式系统所需的工具.. 所谓任务就是消息, 消息中的有效载荷中包含要执行任务需要的全部数据. Celery 是一个分布式队列的管理工具, 可以用 Celery 提供的接口快速实现并管理一个分布式的任务队列. Celery 本身不是任务队列, 是管理分布式任务队列的工具.
celery任务队列
Allen
03-08 5367
文章目录celery分布式任务队列一. celery 简介Celery 特性 :二. celery 组件1. Celery 扮演生产者和消费者的角色,2. 产生任务的方式 :3. celery 依赖三个库: 这三个库, 都由 Celery 的开发者开发和维护.三. 选择消息代理四. Celery 序列化五. 安装,配置与简单示例六. 调用任务的方法 :1. delay2. apply_async七...
Celery课件笔记
03-21
Celery 由 Python 编写，适用于 Python 应用程序，但也可以与其他语言通过 AMQP（Advanced Message Queuing Protocol）协议进行通信。在本课件笔记中，我们将深入探讨 Celery 的核心概念、工作流程以及如何在实际...
Airflow+celery集群部署、踩坑
Im ok的博客哦
12-07 5257
Airflow安装部署
celery学习笔记（二）——celery快速入门
一只路过的小码农cxy
01-09 1464
在应用中使用celery 项目结构： proj/__init__.py /celery.py /tasks.py proj/celery.py from __future__ import absolute_import, unicode_literals from celery import Celery app = Celery('proj', b...
Celery批量异步调用任务一直等待结果
lee_star1的博客
09-18 3596
采用celery中group方式进行批量异步调用，且需要等待返回结果时（未设置超时时间），以下两种情况会导致任务一直等待结果： 1. 如果异步方法对异常未进行处理，直接抛出，则会导致group的job一直等待结果，如下代码： @shared_task(bind=True) def test_task_method(self, number, is_ignore_exception): ...
Celery 学习笔记（4）- Workflow
preyta的专栏
01-10 1万+
Signature 对象前面介绍了可以通过 delay 和 apply_async 来执行一个任务，多数情况下这已经足够使用，但是有时候你希望能够将任务及其参数传递给其它函数时，现有的方法就不够用了。 在 Celery 中，提供了 signature 方法将函数和参数打包起来成为一个 signature 对象，在这个对象中可以保存函数的参数以及任务执行的参数。
celery 实例进阶
weixin_33717117的博客
04-08 260
认识 这里有几个概念，task、worker、broker。顾名思义，task 就是老板交给你的各种任务，worker 就是你手下干活的人员。 那什么是 Broker 呢？ 老板给你下发任务时，你需要 把它记下来， 这个它 可以是你随身携带的本子，也可以是 电脑里地记事本或者excel，或者是你的 任何时间管理工具。 Broker  则是 Celery 记录task的地方。作为一个任务管理...
Celery 框架学习笔记
weixin_34301132的博客
10-17 526
在学习Celery之前，我先简单的去了解了一下什么是生产者消费者模式。 生产者消费者模式 在实际的软件开发过程中，经常会碰到如下场景：某个模块负责产生数据，这些数据由另一个模块来负责处理（此处的模块是广义的，可以是类、函数、线程、进程等）。产生数据的模块，就形象地称为生产者；而处理数据的模块，就称为消费者。 单单抽象出生产者和消费者，还够不上是生产者消费者模式。该模式还需要有一个缓冲区处于生...
Celery实现分布式任务
jackkxs的博客
03-04 556
Celery实现分布式任务 1 celery原理 任务模块 Task 包含异步任务和定时任务。其中，异步任务通常在业务逻辑中被触发并发往任务队列，而定时任务由 Celery Beat 进程周期性地将任务发往任务队列。 消息中间件 Broker Broker，即为任务调度队列，接收任务生产者发来的消息（即任务），将任务存入队列。Celery 本身不提供队列服务，官方推荐使用 Rabbit...
python 定时任务 celery入门
毛毛腿的博客
03-14 1387
celery介绍 Celery 本身不是任务队列，它是管理分布式任务队列的工具，或者换一种说法，它封装好了操作常见任务队列的各种操作，我们用它可以快速进行任务队列的使用与管理，当然你也可以自己看 rabbitmq 等队列的文档然后自己实现相关操作都是没有问题的。 celery角色及作用 Brokers brokers 中文意思为中间人，在这里就是指任务队列本身，Celery 扮演生产者和消费者的角...
Python 学习 ---＞ 并行、分布式 框架 Celery
热门推荐
freeking101的博客
07-13 5万+
Celery是一个异步任务的调度工具，也可以叫做 "分布式任务队列(Distributed Task Queue)"。
Django-Celery异步发送激活邮件
半吊子python全栈
04-16 3122
Celery异步发送激活邮件Celery介绍1.Celery介绍点击查看Celery参考文档Celery是一个功能完备即插即用的任务队列Celery适用异步处理问题，比如发送邮件、文件上传，图像处理等等比较耗时的操作，我们可将其异步执行，这样用户不需要等待很久，提高用户体验2.Celery特点：简单，易于使用和维护，有丰富的文档高效，单个Celery进程每分钟可以处理数百万个任务灵活，Celery...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值