1. cep
2.有状态udf
3.反压机制
它利用自身作为纯数据流引擎的优势来优雅地响应反压问题,不需要主动开启,但是可以调相关参数
3.1.在这个时间之后,统计数据将会废弃,需要重新刷新
jobmanager.web.backpressure.refresh-interval=60000(默认值60s)
3.2.判断背压需要进行stack trace采样的个数
jobmanager.web.backpressure.num-samples=100(默认值)
3.3.两个stack trace之间间隔
jobmanager.web.backpressure.delay-between-samples=5000(默认值5s)
4.双kafka流join,流表与维表的join
参考:https://github.com/DTStack/flinkStreamSQL
5.复杂sql,带分区
6.yarn集群提交
7.flinkx (数据同步,类似于datax)
使用安装部署可参考:https://github.com/DTStack/flinkx