大数据技术之Flink
文章平均质量分 67
解决Flink学习过程中遇到的问题等
Aimo_Hassa
不求何时抵达终点,但求余生仍在路上前行=。=
展开
-
Flink DataStream之min()与minBy(),max()与maxBy()区别详解
在Flink中有一类滚动聚合的算子(Rolling Aggregation):sum()、min()、minBy()、max()、maxBy()其中,对于min()和minBy(),max()和maxBy()之间的区别,具体如下:1、处理的数据只有两个字段:即:只有分组字段和比较字段,如城市温度数据(city,temp),其中city用来分组(keyBy),temp用来比较(min/minBy),那么,此时min()和minBy()的作用是一样的,都是得到比较字段的最小值。案例代码如原创 2021-11-26 17:55:15 · 2190 阅读 · 2 评论 -
Flink使用lambda表达式报错:InvalidTypesException:could not be determined automatically, due to type erasure.
在写Flink程序的时候(以最简单的WordCount案例为例),有时会使用Lambda表达式来简化,如下边程序中的flatMap算子和Map算子处,都是用了Lambda表达式来简写:public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();原创 2021-11-26 14:47:26 · 3181 阅读 · 1 评论