Flink 的DataStream 和 DataSet区别

最新推荐文章于 2024-01-30 14:56:01 发布

liuhehe123

最新推荐文章于 2024-01-30 14:56:01 发布

阅读量2.3k

点赞数 1

分类专栏： Flink

本文链接：https://blog.csdn.net/liuhehe123/article/details/106457136

版权

7 篇文章 0 订阅

订阅专栏

DataSet与DataStream的区别、使用

DataSet同DataStream从其接口封装、真实计算Operator有很大的差别，Dataset的实现在flink-javamodule中，而DataStream的实现在flink-streaming-java中；
DataSet：批式处理，其接口封装类似于Spark的Dataset，支持丰富的函数操作，比如map/fliter/join/cogroup等；
- 数据源创建初始数据集，例如来自文件或Java集合等静态数据；
- 所有的操作为Operator的子类，实现具体逻辑，比如Join逻辑是在JoinOperator中实现；
DataStram: 流式处理，其结构封装实现输入流的处理，其也实现了丰富的函数支持；
- 所有的操作为StreamOperator的子类，实现具体逻辑，比如Join逻辑是在IntervalJoinOperator中实现的；

当前Flink中的使用中主要还是使用DataStream的较多，网上查看DataSet的使用场景少一点；

参考：https://www.jianshu.com/p/9d5ad4bd0cb7

关注