flink 基础知识梳理(DataSet、DataStream、map、filter、filterMap)

1.DataSet和DataStream的区别

DataSet:有界数据流,数据批处理;处理完一条数据,把它放到缓存里,当缓存空间写满时,把它映射到磁盘上;在所有数据处理完之后,才将其通过网络传输到下一个节点,要求高通吐。

DataStream无界数据流,数据流处理;处理完一条数据,把它序列到缓存,并将其通过网络传输到一下个节点进行处理,要求低延迟。

2.map、filter、filterMap的区别

map:数据流经过map算子处理之后,再流出;它是有多少数据,处理完之后就流出多少数据

filter:数据流经过filter过滤算子处理之后,再流出,有条件过滤处理。

filterMap:它具有map和filter的操作,打平操作,数据可以一对一转换和过滤,与map和filter的区别就是,它可以流出空,一条数据,或者多少数据。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值