luigi
最近在做模型引擎项目:一套服务于公司内部模型开发的平台。模型开发、自动选择服务器节点部署、设置跑批任务、监控等一站式服务平台。
其中用到了DAG概念,选型为luigi。本专栏将会对luigi的基本使用、luigi的改造(包含概念改造和luigid改造)做详细的追踪。
NeverLate_gogogo
毕业于北京理工大学,对python有比较深刻的研究。最近在模型引擎一体化平台,从零开始,现在已经初见雏形了。主要包括模型开发版本管理平台,培训认证平台(用于对员工模型开发基础知识的培训),以及模型引擎平台(分布式模型服务,自动化部署、跑批等),智能服务网关(微服务相关,作为全部微服务的流量控制平台、日志日路平台),日志分析平台,监控平台等。涉及比较多,目前项目成员共8个人。2个后端,负责人是大牛,啥都懂,基本不会的他都能帮解决。对标负责人,希望自己能快速成长。
在不增加成员的情况下,感觉这个大项目应该至少要3年的开发与迭代,才可能真正达到满意效果。
展开
-
2、luigid的分布式配置-central scheduler的分布式配置
目录前言1、local scheduler 和 central scheduler的使用与区别2、central scheduler 详细使用与分布式配置前言 luigid是luigi任务的一个可视化界面,我们使用luigi执行的任务都会显示在这个可视化界面中。可以很好的帮助我们监控我们task的执行情况。通常我们在本地测试时,总是设置 local_scheduler=True,这其实表示我们设置的是本地调度器。但是在项目中其实使用最多是central planner。...原创 2020-10-19 19:27:42 · 468 阅读 · 0 评论 -
1、luigid的启动与简单使用
前言我们在使用luigi简单调试时,在启动luigi任务时,经常加上参数 local_scheduler=True,如下。luigi.build([Join()], local_scheduler=True, detailed_summary=False)但是,这只是为了调试时,聚焦于代码自身的正确性,才会用它。而luigi内置了一个调度器叫做Central Scheduler。我们在生产中也是用这个Central Scheduler来控制、监控我们的task。为什么用这个Central原创 2020-07-27 17:31:38 · 1561 阅读 · 0 评论