luigi学习8--使用中央调度器

--local-scheduler一般用在开发阶段，这在一个产品中是不建议这样使用的。使用中央调度器有两个目的：

保证两个相同的task不会同时运行两次

提供一个可视化的界面

注意：中央调度器并不会帮助你执行任何任务或者帮助你使得你的任务更加并行。

一、luigid serevr

1.1运行luigid server在后台进程

luigid --background --pidfile /usr/local/luigi/pid/pid_file --logdir /usr/local/luigi/log/ --state-path /usr/local/luigi/state/

 

注意：在后台启动需要 python-daemon 模块。默认情况下luigid的端口是8082，这个端口可以通过--port选项来改变。

luigid和luigi客户端使用相同的配置文件 luigi.cfg或者是 /etc/luigi/client.cfg

二、启用Task History

task history是一个实验性的功能，这里先不讨论了。

转载于:https://www.cnblogs.com/dongdone/p/5717606.html