Flink SQL 1.13处理数组类型数据(一行变多行)

Flink SQL 1.13处理数组类型数据(一行变多行)

Flink 版本: 1.13

需求:解析源数据中嵌套的数组。

Kafka消息样例:

{
    "create_by": "charlie",
    "create_date": "2022-08-08 18:24:23",
    "data_list": [
        {
            "name": "zhangsan",
            "age": 21
        }
    ]
}

Kafka connector 参考:https://nightlies.apache.org/flink/flink-docs-release-1.13/docs/connectors/table/kafka/

对应Flink SQL中的create table DDL为:

CREATE TABLE kafka_source (
    create_by STRING,
    create_date TIMESTAMP(0),
    data_list ARRAY<ROW<
        name    STRING, 
        age     INT
        >>
) WITH ( 
  'connector' = 'kafka',
  'topic' = 'kafka-topic-name',
  'properties.group.id' = 'flink-test',
  'properties.bootstrap.servers' ='localhost:9092',
  'format'='json',
  'scan.startup.mode'='earliest-offset'
);

参考 https://blog.csdn.net/xianpanjia4616/article/details/114811852
然后新建一个view来处理嵌套的数组,展开数组:

create view view_fields as 
select 
    name, 
    age           
from kafka_source, UNNEST(data_list) as T(
    name, 
    age
);
  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值