任务调度
文章平均质量分 82
wahahaman
这个作者很懒,什么都没留下…
展开
-
ETL性能优化
BeeDI内置多种机制用于ETL性能优化,可选择同步、异步、并发、缓冲更新等不同数据载入方式或调整提交缓冲记录数优化单一ETL任务性能,也可调整任务并发数优化多任务运行性能。BeeDI提供性能监测功能,可输出ETL各项操作与内存关系变化曲线,通过性能监测,确定ETL性能瓶颈,最终实现ETL性能优化。原创 2022-09-03 23:38:45 · 9762 阅读 · 0 评论 -
ETL集群部署
目录一 概述二 配置1 主备资源管理器配置2 作业服务器配置三 操作1 登录资源管理器2 调度执行作业3 作业服务器故障任务迁移4 后备RM接管一 概述BeeDI 提供集群部署调度功能,支持ETL任务在多台服务器上的自由迁移,BeeDI集群部署包含客户端、资源管理器、作业服务器。客户端登录资源管理器发布调度任务,资源管理器负责将任务动态加载到可用的作业服务器运行。当某一作业服务器出现故障,其上运行的任务将被加载到其它作业服务器上继续运行。BeeDI集群组件交原创 2022-03-18 11:02:23 · 3942 阅读 · 0 评论 -
ETL任务调度
ETL任务用于定义数据的抽取,转换及装载规则。而ETL任务调度(简称ETL调度)用于控制ETL任务的启动运行(启动时间、运行周期及触发条件),实现数据的传输转换操作。ETL调度按照功能复杂度分为简单定时调度和工作流调度二种方式。定时调度用于控制ETL任务按照某一时间属性周期运行,如在每个工作日的19点启动交易数据采集任务或每月1号启动报表数据汇总任务。定时调度难以处理多个相关ETL任务间的依赖关系,也无法有效处理ETL异常。对于某些不具备定时调度功能的ETL软件可以采用操作系统提供的定时功能,如Li原创 2020-06-16 15:25:45 · 5482 阅读 · 0 评论