Flink实战之Flink SQL中的Map、Array、Row

最新推荐文章于 2024-03-11 22:01:32 发布
VIP文章 最新推荐文章于 2024-03-11 22:01:32 发布
阅读量2.1w 收藏 29
点赞数 8
分类专栏： Flink实战系列 Flink 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41608066/article/details/108104042
版权

Flink sql支持Map、Array、Row类型，这几种类型在DDL中如何定义、如何获取、如何构造，本文做个总结。

以如下数据作为样例：

{
   
    "id":1238123899121,
    "name":"asdlkjasjkdla998y1122",
    "date":"1990-10-14",
    "obj":{
   
        "time1":"12:12:43Z",
        "str":"sfasfafs",
        "lg":2324342345
    },
    "arr":[
        {
   
            "f1":"f1str11",
            "f2":134
        },
        {
   
            "f1":"f1str22",
            "f2":
最低0.47元/天 解锁文章
优优我心
关注
  • 8
    点赞
  • 踩
  • 29
    收藏
    觉得还不错? 一键收藏
  • 12
    评论
专栏目录
Flink SQL大数据项目实战（基于Flink1.14.3版本）
09-15
分享课程——《Flink SQL大数据项目实战》，2022新课，基于Flink1.14.3版本。提供视频配套的源码和文档下载！ Flink SQL大数据项目实战课程以FlinkSQL流批一体技术为主线，全面讲解Flink Table编程、SQL编程、Time与WaterMark、Window操作、函数使用、元数据管理，最后以一个完整的实战项目为例，详细讲解FlinkSQL的流式项目开发。 课程特色 1.课程以FlinkSQL技术为主线，先讲解FlinkSQL核心技术，后讲解项目实战。 2.课程从理论原理、环境配置、服务安装、组件集成开发、业务代码开发、可视化等项目完整流程讲解，不会跳讲和断讲 3.课程中无论案例代码开发还是项目业务代码开发，每一行代码都会边实现边讲解。 4.课程中目前使用Flink1.14.3最新稳定版本。
Flink SQL Row里嵌套Array＜Row＞该如何用DDL定义
weixin_927326的博客
02-13 344
Flink SQL Row里嵌套Array该如何用DDL定义
【Flink SQL】Flink SQL 基础概念（二）：数据类型
最新发布
书山有路，学海无涯。记录成长，追逐梦想
03-11 1328
Flink SQL 内置了很多常见的数据类型，并且也为用户提供了自定义数据类型的能力。
flinkSQL-udf Row中有多个Array格式编写
monsterXZB的博客
05-30 393
需求：今天想要编写一个UDF函数，返回的结果是一个嵌套的类型。
Flink Table & SQL 行列转换
王佩的CSDN博客
12-12 4762
总结Flink Table & SQL 中，如何将一个数组(Array)或对象(Map)展开。 测试数据 用datagen连接器构造测试数据。DDL如下: CREATE TABLE source_table ( userId INT, eventTime as '2021-10-01 08:08:08', eventType as 'click', productId INT, -- 数组(Array)类型 productImages as ARRAY
Flink SQL 1.13处理数组类型数据（一行变多行）
czhang447的博客
08-13 2924
解析源数据中嵌套的数组，数据一行变多行。Flink 版本： 1.13。
flink sql 指南
12-09 4912
说明 flink sql 相关知识整理。 表声明语句 flink 可以通过ddl语句声明一个表。表的声明在flink中分为2个部分：connector和format。 connector复杂读写数据（对接外部存储系统），format 负责解析数据。 通过如下方式可以声明一个表： create table tablename( field1 field_type ) with ( 'ke...
Flink SQL自定义解析 Map和Array数据类型
hongpa721的博客
07-18 2156
Flink SQL 自定义解析 Map 数组
Flink SQL中的Map、Array、Row
zuixue_lei的博客
11-09 2192
1、kafka中样例数据。
FlinkSQL 列转行/解开map array/unnest/lateral table udtf
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
07-14 6831
将Map展开为多列多行。 基于UDTF 结果示例 2 将数组展开为单列多行。 基于UNNEST 基于UDTF 结果示例 3 将Array展开成多列多行 end
FlinkSQL实战：HBase的结合应用
02-23
HBase作为Google发表BigTable论文的开源实现版本，是一种分布式列式存储的数据库，构建在HDFS之上的NoSQL数据库，非常适合大规模实时查询，因此HBase在实时计算领域使用非常广泛。可以实时写HBase，也可以利用buckload一把把离线Job生成HFileLoad到HBase表中。而当下FlinkSQL的火热程度不用多说，FlinkSQL也为HBase提供了connector，因此HBase与FlinkSQL的结合非常有必要实践实践。当然，本文假设用户有一定的HBase知识基础，不会详细去介绍HBase的架构和原理，本文着重介绍HBase和Flink在实际场景中的结合使用
flink开发实战之flink原理解析
01-27
我们知道目前流处理的主要流行的计算引擎有，Storm，SparkStreaming。但是这个两个计算引擎都有自己的局限性。Storm实现了低延迟，但是目前还没有实现高吞吐，也不能在故障发生的时候准确的处理计算状态（将数据从一个事件保存到另一个事件的，这些保留下来的是数据较计算状态），同时也不能实现exactly-once。SparkStreaming通过微批处理方法实现了高吞吐和容错性，但是牺牲了低延迟和实时处理的能力，也不能使用窗口与自然时间相匹配。Flink的出现完美的解决了以上问题，这也是flink出现的原因，flink不仅能提供同时支持高吞吐和exactly-once语义的实时计算，
【大数据】Flink SQL 语法篇（七）：Lookup Join、Array Expansion、Table Function
书山有路，学海无涯。记录成长，追逐梦想
02-27 1435
小伙伴萌会问，我们既然已经有了上面介绍的 Regular Join，Interval Join 等，为啥还需要一种 Lookup Join？因为上面说的这几种 Join 都是流与流之间的 Join，而 Lookup Join 是流与 Redis，MySQL，HBase 这种存储介质的 Join。Lookup 的意思就是实时查找，而实时的画像数据一般都是存储在 Redis，MySQL，HBase 中，这就是 Lookup Join 的由来。
Flink的数据类型
sijiwang95的博客
04-11 757
timestamp_ltz #带时区，推荐使用，ltz：local time zone。早先Flink版本使用时间戳类型。集合类型，FlinkSQL中名字叫MULTISET，类似于Java的List。数组类型，FlinkSQL中名字叫ARRAY，类似于Java的array。对象类型，FlinkSQL中名字叫ROW，类似于Java的Object。Map类型，FlinkSQL中名字叫Map，类似于Java的Map。#4.boolean类型。
Flink Sql教程（7）
狄杰的博客
06-03 4120
Redis异步维表 概述 之前和大家聊过维表，也聊过FLINK中如何使用维表，目前FLINK自带的维表有两种，一种是JDBC维表，一种是HBASE维表。其中JDBC维表支持缓存，HBASE暂不支持 两种维表也都是同步维表，性能较弱 我之前也说过会在后面的教程实现以下异步第三方维表，加上一个叫啤酒鸭的问我相关的问题，就抽空写了一把 redis异步客户端我用的是Lettuce，大家也可以用Redission，Jedis是同步的，大家千万注意 不过和我之前说的一样，缓存会遇到旧数据的问题，所以也相当于给大家留了
【Flink】Table\Sql API 笔记：Row和RowData
Chain的博客
08-21 6452
【Flink】Table\Sql API 笔记：Row和RowData
flink-sql所有数据类型-1.13
第一片心意的博客
08-02 5650
本文基于 flink 1.13 官网中的 flink sql 数据类型部分翻译整理，内容十分全面。
flink sql实战
09-07
Flink SQL 实战是一个常见的应用场景，可以用于数据处理和分析。下面是一个简单的 Flink SQL 实战示例： 假设你有一个包含用户购买记录的订单表，包括用户ID、购买时间、商品ID和购买数量等字段。你想通过 Flink SQL 来计算每个用户的总购买金额。 首先，你需要将订单表注册为一个 Flink 的表。你可以使用类似下面的代码来实现： ```java StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env); // 创建一个DataStream，读取订单数据 DataStream<Order> orderStream = env.addSource(new OrderSource()); // 注册DataStream为一个表 tableEnv.createTemporaryView("orders", orderStream, "userId, purchaseTime, productId, quantity"); ``` 接下来，你可以使用 Flink SQL 来查询每个用户的总购买金额。可以使用类似下面的代码： ```java // 执行SQL查询，计算每个用户的总购买金额 Table result = tableEnv.sqlQuery("SELECT userId, SUM(quantity) as totalPurchaseAmount " + "FROM orders " + "GROUP BY userId"); // 将结果转换为DataStream输出 DataStream<Result> resultStream = tableEnv.toAppendStream(result, Result.class); // 输出结果 resultStream.print(); ``` 在上面的代码中，我们使用了 Flink SQL 的聚合函数 SUM 和 GROUP BY 来计算每个用户的总购买金额。最后，将结果转换为 DataStream 并打印出来。 这只是一个简单的实例，实际的 Flink SQL 实战涉及到更复杂的查询和处理逻辑。你可以根据具体的业务需求，使用 Flink SQL 来实现更多的数据处理和分析任务。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 12
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值