Flink
文章平均质量分 93
GScallion
这个作者很懒,什么都没留下…
展开
-
Flink:异步IO关联HBase维表数据
一、使用异步IO关联HBase维表数据优点为避免在流计算环境中频繁的以同步方式查询外部维表,Flink官方提供使用异步IO与外部系统并发的交互方式,这样可以减轻因为网络交互引起的系统吞吐和延迟问题。当然,为了避免频繁与外部系统进行交互,建议使用内部缓存的方式存储近期容易使用到的维度数据,也就是LRU(最近最少使用)思想,业界经常使用的一个缓存机制是Guava 库提供的 CacheBuilder。整体的设计思想就是:先用异步IO将HBase维表数据加载到缓存中,这样在关联维表时候先去缓存中查找,如果找不到原创 2021-07-20 10:27:00 · 2785 阅读 · 3 评论 -
Flink:状态与容错
Checkpointing原创 2021-06-16 11:41:45 · 271 阅读 · 0 评论 -
Flink:窗口操作
一、窗口操作1、Keyed Windowsstream .keyBy(...) <- keyed versus non-keyed windows .window(...) <- required: "assigner" [.trigger(...)] <- optional: "trigger" (else default trigger) [.evi原创 2021-06-05 18:13:04 · 345 阅读 · 1 评论 -
Flink:Watermark
一、Watermark简介与用途二、Watermark策略1、Watermark策略用途2、Watermark策略源码3、Watermark策略测试案例三、自定义Watermark生成器1、自定义周期性Watermark生成器1、源码2、测试案例2、自定义标点Watermark生成器1、源码2、测试案例四、Watermark策略的使用位置1、在Kafka连接器上使用2、在算子上使用五、在使用Watermark时需注意的地方1、window的触发条件2、处理空闲数据源六、完原创 2021-06-05 18:02:49 · 388 阅读 · 0 评论 -
Flink:双流Join和维表Join
一、双流Join1、inner join2、outer join3、interval join详细代码package com.scallion.job;import com.scallion.common.Common;import com.scallion.utils.FlinkUtil;import org.apache.flink.api.common.functions.CoGroupFunction;import org.apache.flink.api.common.func原创 2021-05-14 15:52:31 · 711 阅读 · 0 评论 -
Flink:ProcessFunction源码分析
参考:https://zhuanlan.zhihu.com/p/130708277原创 2021-05-07 15:05:20 · 440 阅读 · 0 评论