1.产品概述
科杰科技实时计算平台是基于Apache Flink构建的高性能、一站式实时数据处理平台,通过标准化的Flink SQL和定制化的Flink Jar实现实时数据的分析、监控,帮助企业构建实时数仓和实时指标,从而支撑业务实时数据的应用。
2.系统架构图
科杰科技实时计算平台的架构设计分为配置层、存储层、开发层、运维层和应用层,其中配置层提供平台的开发资源配置、项目管理以及数据源管理;存储层提供不同类型的数据存储及日志存储;开发层提供Flink SQL任务和Flink Jar任务的创建和调试;运维层提供实时计算任务的运维与监控,以及多环境的级联发布;应用层提供实时数据的展示及应用,呈现实时指标和数据资产。
3.系统特点
3.1支持故障自动恢复,数据计算不重不丢
1)支持各类错误场景的自动恢复,保证故障情况下数据处理的准确性;
2)提供完善的消息追踪框架和复杂的事务性处理,数据计算不重复不丢失,保证数据的正确性;
3)提供代码版本回滚和作业本地数据调试功能,避免影响线上数据;
4)提供完备作业上线机制,调试完成后提交的作业不会立即替代已运行的作业,支持用户手动停止已