2、luigid的分布式配置-central scheduler的分布式配置

目录

前言

1、local scheduler 和 central scheduler的使用与区别

2、central scheduler 详细使用与分布式配置


前言

        luigid是luigi任务的一个可视化界面,我们使用luigi执行的任务都会显示在这个可视化界面中。可以很好的帮助我们监控我们task的执行情况。

通常我们在本地测试时,总是设置 local_scheduler=True,这其实表示我们设置的是本地调度器。但是在项目中其实使用最多是central planner。那么这个central planner有什么强项已经怎么使用呢?下面一一介绍。

关于central planner,luigi的文档其实讲的挺粗糙的,至少我在读了两遍后,还是对于分布式的central planner没有太多理解。然后自己去看了luigi的源码才比价清晰了。所以在这里也建议大家,在看文档时,如果觉得他说不清,可以自己去研究一下他相关的代码,会有很大的收获。

 

1、loca

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
搭建流程如下: 1. 创建虚拟机模板机:先安装虚拟化软件,如VMware Workstation,然后安装一个操作系统,如CentOS,配置好环境和软件,最后将其保存为虚拟机模板机。 2. 创建分布式集群:使用虚拟机模板机创建多个虚拟机,每个虚拟机都要安装相同的操作系统和软件,配置好网络和主机名等信息。然后使用分布式集群软件,如Apache Hadoop,将这些虚拟机组成一个分布式集群。 3. 安装OpenResty:在分布式集群中选择一台虚拟机,安装OpenResty,配置好Nginx和Lua环境,实现高性能的Web应用开发。 4. 安装Hadoop:在分布式集群中选择一台虚拟机,安装Hadoop,配置好HDFS和MapReduce等组件,实现大规模数据的分布式存储和处理。 5. 安装Zookeeper:在分布式集群中选择一台虚拟机,安装Zookeeper,配置好ZAB协议,实现分布式应用程序协调服务。 6. 安装Flume:在分布式集群中选择一台虚拟机,安装Flume,配置好数据采集和传输管道,实现数据的收集和传输。 7. 安装Hive和MySQL:在分布式集群中选择一台虚拟机,安装Hive和MySQL,配置好元数据和数据存储,实现数据的查询和分析。 8. 安装Zeppelin:在分布式集群中选择一台虚拟机,安装Zeppelin,配置好可视化工具和数据源,实现数据的可视化和探索。 9. 安装DolphinScheduler:在分布式集群中选择一台虚拟机,安装DolphinScheduler配置好任务调度和执行,实现自动化任务的执行和管理。 10. 安装SuperSet:在分布式集群中选择一台虚拟机,安装SuperSet,配置好可视化工具和数据源,实现数据的可视化和探索。 以上是搭建流程的大致步骤,具体实现过程需要根据实际情况进行配置和调整。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值