m0_37687896的博客

原创 flink 对每天的数据进行汇总

但是，这样的话，窗口将不会每来一条数据触发一次计算，而是要等到该窗口的 Watermark 推进到窗口结束时间后才会触发计算。MySQLSink为将数据写入到mysql，进行了更新和新增操作，根据生成的key，对数据先进行修改动作，若修改失败，则进行新增，保证一天内，聚合的数据的唯一性。使用flink 对kafka中每天的数据进行汇总，来一条数据统计一次结果，并将结果进行持久化。这将在每接收到一条数据时触发计算。事件时间（EventTime）语义，因此触发器应该使用。还有种触发条件可根据时间。