- 博客(2)
- 资源 (18)
- 收藏
- 关注
原创 Flink状态后端的使用
Flink提供了以下三种开箱即用的状态后端(用于存储状态数据),可以为所有flink作业配置相同的状态后端(flink-conf.yaml ),也可以为每个flink作业配置指定的状态后端。 MemoryStateBackend FsStateBackend RocksDBStateBackend 至于在实际应用中应该选择何种状态后端,需要结合业务场景及三种状态后端的特点以做出最佳选择,本文...
2019-02-13 14:14:16 4193
原创 Flink实现状态数据互相访问(即依赖数据访问,类似表之间的Join)
在流处理应用中,对单个event的处理如果不涉及与其他event交互或访问是比较简单的。但是如果对单个event的处理依赖其他topic过来的event或者后续处理的event依赖当前处理的event,这种情景类似于多表之间join,A和B join取A表的某几个字段。使用flink的state就可以实现。 一个场景如下: 课程信息(table,class_id,class_name...
2019-02-11 16:00:45 4838
yarn-utils.py
2016-02-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人