码者人生的技术博客

从1.5版本开始引入了 back pressure，实现自动调节数据的传输速率，其监听所有作业的 onBatchCompleted 事件，并且基于 processingDelay、schedulingDelay、当前批处理的记录条数以及处理完成事件来估算出一个速率，用于更新流每秒能够处理的最大记录的条数。对比来看，Spark Streaming 的 back pressure 比较简单，主要是根据下游任务的执行情况等，来控制 Spark Streaming 上游的速率。默认配置，大约会花费五秒钟。

Flink 使用介绍相关文档目录CEP的全称为Complex Event Processing，中文翻译为复杂事件处理。光看字面意思解释还是很难理解。究竟何为“复杂事件”？通常我们使用Flink处理数据流的时候，只是对每个到来的元素感兴趣，不关注元素之间的关系。即便是有也仅仅是使用有状态算子而已。现在有一种需求，我们需要关注并捕获一系列有特定规律的事件，比方说用户登录，转帐，然后退出（ABC事件连续发生），或者是比如机房连续10次测温均高于50度（A{10,}），我们采用传统方式写Flink程序就比较困难。

很明显，由于上游在keyby处理后，导致下游不同分区数据分配不均衡，导致不同分区到达的水印不一致，这种情况下可以考虑收缩分区数量；