综上所述,flinkSQL和sparkSQL的性能只差一点点,flink是spark的最强大的竞争者。
个人认为flink潜力很大。
第一,flink主要是java写的代码,相比scala写的spark而言,flink的内存溢出问题更容易定位和优化。
第二,flink是在idea环境开发的,而我主要就是用这个开发环境,非常方便。
本人用sparkSQL两年来,数据倾斜,内存溢出问题见过太多,相当坑爹,而官方源码几乎很难打包编译调试。
第三、flink更专业,spark就是综合rdd,sql,图计算,流式计算的等几个模块综合体,长远来看不利于开源社区演进