2、luigid的分布式配置-central scheduler的分布式配置

目录

前言

1、local scheduler 和 central scheduler的使用与区别

2、central scheduler 详细使用与分布式配置

---

前言

        luigid是luigi任务的一个可视化界面，我们使用luigi执行的任务都会显示在这个可视化界面中。可以很好的帮助我们监控我们task的执行情况。

通常我们在本地测试时，总是设置 local_scheduler=True，这其实表示我们设置的是本地调度器。但是在项目中其实使用最多是central planner。那么这个central planner有什么强项已经怎么使用呢？下面一一介绍。

关于central planner，luigi的文档其实讲的挺粗糙的，至少我在读了两遍后，还是对于分布式的central planner没有太多理解。然后自己去看了luigi的源码才比价清晰了。所以在这里也建议大家，在看文档时，如果觉得他说不清，可以自己去研究一下他相关的代码，会有很大的收获。

 

1、local scheduler 和 central scheduler的使用与区别

大家记住最重要的一点：生产中用central scheduler，简单测试可以用local scheduler

那么，为什么呢？

1.1local scheduler

local scheduler其实并没有做调用，也就是说你把任务提交了就给你执行。举个例子，有个 test.py文件，文件中写了你要执行的luigitask： Mytask。那么你在CMD上瞬间输入了10条命令，如下：

luigi --module top_artists Mytask --local-scheduler
luigi --module top_artists Mytask --local-scheduler

luigi --module top_artists Mytask --local-scheduler

luigi --module top_artists Mytask --local-scheduler

luigi --module top_artists Mytask --local-scheduler

luigi --module top_artists Mytask --loca