- 博客(8)
- 收藏
- 关注
原创 08-Flink Table API & SQL2(仅供学习)
模拟电商公司的订单表和物流表,需要对订单数据进行统计分析,对于不同的信息需要进行关联后续形成订单的大宽表后,交给下游的业务方使用 ES 做数据分析,这个案例演示了如何只依赖 Flink 不依赖其他组件,借助 Flink 强大的计算能力实时把 Binlog 的数据流关联一次并同步至 ES。文档:https://nightlies.apache.org/flink/flink-docs-release-1.13/docs/dev/table/sql/queries/window-tvf/
2024-03-16 10:19:36 781 1
原创 07-Flink Table API & SQL1(仅供学习)
收购以后,将Blink中Table API和SQL融合到Apache Flink,直到1.12版本,功能基本完全,可生产环境使用,支持流计算和批处理。:可以基于一个DataStream,[先流式地读取数据源,然后map转换为POJO,再把它转成Table]。在Flink 1.9版本中,Blink中Table 模块合并到ApacheFlink中,架构进行全新调整。读取文本数据为DataStream,数据提取解析后,转换为Table,注册临时视图,使用SQL查询。
2024-03-16 10:01:36 1088
原创 05-Flink 高级API开发2(仅供学习)
流式计算的数据往往是转瞬即逝, 真实业务场景不可能说所有的数据都是进来之后就走掉,没有任何东西留下来,那么。
2024-03-13 23:07:59 833
原创 04-Flink 高级API开发1(仅供学习)
文章目录第一部分:Flink Window 窗口01-Flink Window【Window 概述 】02-Flink Window【Window 类型 】03-Flink Window【Window API】04-Flink Window【时间窗口案例】05-Flink Window【计数窗口案例】06-Flink Window【会话窗口案例】第二部分:Flink Time 时间07-Flink Time【Time 时间语义】08-Flink Time【事件时间案例编程】09-Flink Time【事件时
2024-03-12 17:14:26 786
原创 Redis 内存数据库(仅供学习)
Redis是一个key-value的数据库,key一般是String类型,不过value的类型多种多样 Redis为了方便我们学习,将操作不同数据类型的命令也做了分组,在官网( https://redis.io/commands )可以查看到不同的命令:https://redis.io/commands/help。
2024-03-12 15:26:32 934
原创 03-Flink 流批一体 API开发2(仅供学习)
DataStream提供物理分区算子:[决定上游Operator中各个分区数据如何发送到下游Operator的各个分区中。 在DataStream函数中提供7种方式,常见的物理分区策略有**随机分配(Random)、轮询分配(Round-Robin)、重缩放(Rescale)和广播(Broadcast)**等。第一、物理分区算子【global将所有的数据都发送到下游的某个算子实例第二、物理分区算子【broadcast功能:发送到下游所有的算子实例。第三、物理分区算子【forward。
2024-03-11 10:59:40 370
原创 02-Flink 流批一体 API开发1(仅供学习)
Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台,它能够基于同一个Flink运行时(Flink Runtime),提供支持流处理和批处理两种类型应用的功能。
2024-02-29 23:38:41 1154
原创 01-Flink安装部署及入门案例(仅供学习)
Apache Flink是一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算。Flink设计为在所有常见的集群环境中运行,以内存速度和任何规模执行计算。
2024-02-27 00:09:20 787 1
OA办公系统 Springboot vue.js前后分离,Flowable工作流自定义表单
2024-04-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人