flink
文章平均质量分 92
ZhaoYingChao88
学而不思则罔,思而不学则殆!
展开
-
流处理开源项目flinkStreamSQL FlinkX简介
flinkStreamSQL熟悉flink的应该都了解,flink支持流表之间的join,但到1.6为止都不支持流表和维表的join。浪尖最近,也在开发流平台,需要到flink流表和维表的join。那么针对这个大家第一印象,可以写个算子去实现,比如map等。但是浪尖这里开发的流平台不是说自己写api,而是用户通过sql去实现创建source,sink,udf,sql等,这个时候要进行维表join,大家可能是想到了udf。是的对于只有一个维表的情况下使用udf比较方便,但是多个维表,相对就麻烦很多了。原创 2021-06-03 21:01:35 · 1726 阅读 · 0 评论 -
Flink,Spark Streaming,Storm对比分析
1.Flink架构及特性分析Flink是个相当早的项目,开始于2008年,但只在最近才得到注意。Flink是原生的流处理系统,提供high level的API。Flink也提供 API来像Spark一样进行批处理,但两者处理的基础是完全不同的。Flink把批处理当作流处理中的一种特殊情况。在Flink中,所有 的数据都看作流,是一种很好的抽象,因为这更接近于现实世界。1.1 基本架构...原创 2018-07-06 10:48:49 · 5013 阅读 · 0 评论