![](https://img-blog.csdnimg.cn/20210907105520736.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Flink 摸索前行
文章平均质量分 62
以实战为线索,逐步深入Flink开发各个环节,掌握Flink不同应用支持方式,提高个人能力。
chaos jin
活到老学到老。
展开
-
Clickhouse 持久化 Kafka 数据
将Kafka中数据导入ClickHouse的标准流程是:在ClickHouse中建立Kafka Engine 外表,作为Kafka数据源的一个接口 在ClickHouse中创建普通表(通常是MergeTree系列)存储Kafka中的数据 在ClickHouse中创建Materialized View, 监听Kafka中的数据,并将数据写入ClickHouse存储表中ClickHouse 提供了Kafka Engine 作为访问Kafka集群的一个接口。CREATE TABLE kafka.翻译 2021-11-12 17:48:28 · 572 阅读 · 0 评论 -
Flink窗口+触发器 ,实现定时、定量批量写入Hbase不同的表
需求案例消费kafka中的数据,根据业务类型不同批量写入不同的Hbase表。按照数据量和数据延迟要求,写入时候分两种模式:定量:满足指定数据量 定时:满足指定数据延迟技术点解析定时使用窗口实现;定量使用触发器实现;写入Hbase不同的表使用自定义 RichSinkFunction 实现。【未完待续...】...原创 2021-09-16 18:00:30 · 1322 阅读 · 0 评论 -
Flink CEP 之 车辆无效定位区间检测
Flink CEP 的概念这里不赘诉,直接上案例。案例背景:检测车辆无效定位,记录无效数据连续时间段。car_state 为车辆定位是否有效字段,有1,2,3以及其他情况等等(car_state & 2)== 0 无效定位(car_state & 2)!= 0 有效有效Talk is cheap. Show you my code .依赖:// CEP 依赖shadow 'org.apache.flink:flink-cep-scala_2.12:1.原创 2021-09-08 16:35:43 · 318 阅读 · 0 评论 -
Flink 实现电子围栏进出区域监控
目录需求技术点实现checkpointState BackendsWatermarkBroadcast State 模式Keyed State需求用户自定义电子围栏,记录车辆进出电子围栏的时间。技术点checkpoint stateBackend watermark Broadcast State 模式 数据流连接广播流 state实现checkpointFlink中的每个方法或算子都能够是有状态的。状态化的方法在处理单个元素/事...原创 2021-03-03 13:33:11 · 1019 阅读 · 3 评论 -
Flink 使用JDBC connector 写入 Clickhouse
写在前面Flink 1.11.0 对JDBC connector 进行了一次较大的重构重构之前(1.10.3 以及之前版本), 包名为 flink-jdbc. 重构之后(1.11.0 以及之后版本), 包名为 flink-connector-jdbc.Flink 1.11.0 以及之后版本需要采用flink-connector-jdbc + DataStream的方式写入数据到ClickHouse。Flink 1.13.2+ flink-connector-jdbc依赖:....原创 2021-09-07 10:43:10 · 1624 阅读 · 0 评论