1.DataSet和DataStream的区别
DataSet:有界数据流,数据批处理;处理完一条数据,把它放到缓存里,当缓存空间写满时,把它映射到磁盘上;在所有数据处理完之后,才将其通过网络传输到下一个节点,要求高通吐。
DataStream无界数据流,数据流处理;处理完一条数据,把它序列到缓存,并将其通过网络传输到一下个节点进行处理,要求低延迟。
2.map、filter、filterMap的区别
map:数据流经过map算子处理之后,再流出;它是有多少数据,处理完之后就流出多少数据
filter:数据流经过filter过滤算子处理之后,再流出,有条件过滤处理。
filterMap:它具有map和filter的操作,打平操作,数据可以一对一转换和过滤,与map和filter的区别就是,它可以流出空,一条数据,或者多少数据。