Flink
风中一叶(Liko)
Keep Moving!
展开
-
Flink面试_002、operator state 和 keyed state 两者的区别?最大并行度和这两种 state 的关系?
举个例子,当用户停止任务、更新代码逻辑并且改变任务并发度时,两种 state 都是怎样进行恢复的1. 区分 operator-state 和 keyed-state 的方式a. operator-state: 1. 状态适用算子:所有算子都可以使用 operator-state,没有限制。 2. 如果需要使用 operator-state,需要实现 CheckpointedFunction 或 ListCheckpointed 接口 3. DataStream API 中,operato...原创 2022-03-05 10:09:26 · 1287 阅读 · 0 评论 -
Flink面试_001、你们公司是通过什么样的监控及保障手段来保障实时指标的质量?比如事前事中事后是怎么做的?
1. 事前:a. 任务层面:根据峰值流量进行压力测试,并且留一定 buffer,用于事前保障任务在资源层面没有瓶颈b. 指标层面:根据业务要求,上线实时指标前进行相同口径的实时、离线指标的验数2. 事中:a. 任务层面:贴源层监控 kafka 堆积延迟等报警检测手段,用于事中及时发现问题。比如的普罗米修斯监控 lag 时长b. 指标层面:根据指标特点进行实时指标同环比对比监控、实时离线指标结果对比监控。这里的监控算法可以是阈值、时序异常算法等。检测到波动过大就报警。比如最简单的方式是可以通...原创 2022-03-05 10:05:34 · 162 阅读 · 0 评论