flink未完成的点

1. cep

2.有状态udf

3.反压机制

它利用自身作为纯数据流引擎的优势来优雅地响应反压问题,不需要主动开启,但是可以调相关参数

3.1.在这个时间之后,统计数据将会废弃,需要重新刷新

jobmanager.web.backpressure.refresh-interval=60000(默认值60s)

3.2.判断背压需要进行stack trace采样的个数

jobmanager.web.backpressure.num-samples=100(默认值)

3.3.两个stack trace之间间隔

jobmanager.web.backpressure.delay-between-samples=5000(默认值5s)

4.双kafka流join,流表与维表的join

参考:https://github.com/DTStack/flinkStreamSQL

5.复杂sql,带分区

6.yarn集群提交

7.flinkx  (数据同步,类似于datax)

使用安装部署可参考:https://github.com/DTStack/flinkx

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值