FlinkSQL 解析字符串+行转列

最新推荐文章于 2024-09-17 22:48:30 发布

lhxsir

最新推荐文章于 2024-09-17 22:48:30 发布

阅读量1.6k

点赞数 2

文章标签： flink sql

本文链接：https://blog.csdn.net/lhxsir/article/details/131578473

版权

文章描述了一个使用FlinkSQL处理实时数据的需求，首先创建了一个Kafka源表test_table，然后通过string_split函数将parent_path字段按点号拆分为多行，接着通过LEFTJOIN自身表获取每个ID对应的名称，最后使用LISTAGG将名称聚合为一行。

摘要由CSDN通过智能技术生成

近期遇到一个实时flinksql需求，需要根据ids数组字段解析成名称数组字段。。。
其中parent_path存放的内容是点号分割的字符串"1659077318807721985.1659120595539924993.1659121050219255810"

第一步：新建kafka source源

create TEMPORARY table if not exists test_table(
    id BIGINT,
    name STRING,
    `parent_path` STRING,
    deleted INT,
    proctime AS PROCTIME (),
    `partition` INT NOT NULL METADATA VIRTUAL,
    `offset` BIGINT NOT NULL METADATA VIRTUAL,
    `timestamp` TIMESTAMP
    WITH LOCAL TIME ZONE NOT NULL METADATA VIRTUAL, PRIMARY KEY (id) NOT ENFORCED
  )
WITH (
    'connector' = 'upsert-kafka',
    'properties.bootstrap.servers' = '${secret_values.v_kafka_ods_bootstrap_server_2}',
    'topic' = 'ods_test_table',
    'properties.group.id' = 'test_groupid',
    'value.json.ignore-parse-errors' = 'true' ,
    'key.format' = 'json',
    'value.format' = 'json',
    'value.fields-include' = 'EXCEPT_KEY', 
    'value.json.infer-schema.flatten-nested-columns.enable' = 'false',
    'value.json.infer-schema.primitive-as-string' = 'false' 
  );

第二步：解析parent_path，并一行拆分成三行

SELECT *FROM source_kafka_test_table, 
lateral table(string_split(parent_path, '.')) as T(parentpath)

在这里插入图片描述

第三步：关联自身表取名称，把三行聚合成一行

select a.id,a.name,a.parent_path,LISTAGG(b.name) names
 from ( SELECT id,name,parent_path,parentpath
FROM source_kafka_test_table, 
lateral table(string_split(parent_path, '.')) as T(parentpath)
 ) a left join source_kafka_test_table b on a.parentpath=b.id
 group by a.id, a.name,a.parent_path

在这里插入图片描述