Streamworks，基于扩展FlinkSQL实现流计算的源表导入、维表关联与结果表导出

最新推荐文章于 2024-12-03 16:56:20 发布

袋鼠云技术团队

最新推荐文章于 2024-12-03 16:56:20 发布

阅读量3k

点赞数 6

分类专栏：数据中台文章标签： FlinkSQL Streamworks 流计算

本文链接：https://blog.csdn.net/u011663641/article/details/103043068

版权

Streamworks是袋鼠云的流计算开发平台，它扩展了FlinkSQL，简化了源数据读取（如Kafka）、维表关联（如Oracle）和结果数据导出（如PostgreSQL）的过程。通过SQL与可视化配置结合，用户无需关注底层实现，降低了数据开发的复杂性。平台支持自定义函数，提供了维表功能，解决了流数据实时分析的挑战。

摘要由CSDN通过智能技术生成

Streamworks，袋鼠云基于SQL的流计算开发平台，其通过扩展FlinkSQL，实现FlinkSQL与界面化配置映射结合的方式，完成Kafka源数据的读入，并支持流数据与Mysql/Oracle/MongDB等数据源进行维表关联，将最终结果数据导出至Hbase/ES/Greenplum/Oracle/OceanBase等目标数据库，进行一站式的流数据开发。

为什么扩展Flink-SQL?

Flink 本身的SQL语法并不提供对接输入源和输出目的的SQL语法，数据开发在使用过程中需要根据其提供的API接口编写Source和 Sink，不仅需要了解FLink 各类Operator的API，还需要对各个组件的相关调用方式有了解（比如Kafka，Redis，Mongo、Hbase等），异常繁琐。并且在需要关联到外部数据源的时候Flink也没有提供SQL相关的实现方式，若数据开发直接基于原生的Flink SQL进行实时的数据分析，需要较大的额外工作量。

袋鼠云的SteamWorks则聚焦于数据开发人员使用Flink SQL时专注于业务逻辑，只需要关心做什么，而不需要关心怎么做。研发团队对FlinkSQL进行了扩展，用户只需通过可视化配置，完成源表到导入、维表的关联、结果表的导出。

扩展了哪些Flink相关SQL

1.创建源表语句

CREATE TABLE tableName(
    colName colType,
    ...
    function(colNameX) AS aliasName,
    WATERMARK FOR colName AS withOffset( colName , delayTime )
 )WITH(
    type ='kafka09',
    bootstrapServers ='ip:port,ip:port...',
    zookeeperQuorum ='ip:port,ip:port/zkparent',
    offsetReset ='latest',
    topic ='topicName',
    parallelism ='parllNum'
 );

2.创建输出表语句