Flink
jyj019
向着喜欢的道路前进
展开
-
Flink框架关于Kafka生产消费的实现demo
flink作为一个大数据框架,已经由阿里充分的证实了其性能和前景。但对国内仍然是一个比较陌生的状态,无论是开源的文档和实例都比较缺乏。之前找到的demo很多都是旧版本;同时flink本身面临版本演进,blink开源等一些影响,也会在之后出现一些比较大的变化。我根据目前的资料,编写了基于flink的Kafka生产消费demo,便于初步的了解flink的特性,也希望能对他人了解flink提供一些小小的帮助。以下demo是我根据一些其他的demo整合而成,引用申明见最下方。原创 2018-10-07 11:40:42 · 9944 阅读 · 17 评论 -
Flink window(一)(翻译官方文档)
我准备实际使用中mark一些关键的知识点/api。以窗口是flink一个重要的概念,flink提供了很多种窗口的使用方式,以下为窗口相关文档的第一部分,包含目录窗口功能中窗口折叠函数前的内容。3.17更新:这周发现了一个翻译好的文档地址https://flink.sojb.cn/,其完整性和正确性比我翻译好太多,故这方面不再更新。翻译 2019-03-05 08:44:43 · 384 阅读 · 0 评论 -
Flink window(二)(翻译官方文档)
我准备实际使用中mark一些关键的知识点/api。以窗口是flink一个重要的概念,flink提供了很多种窗口的使用方式,以下为窗口相关文档的第一部分,包含目录窗口功能中窗口折叠函数后的内容。3.17更新:这周发现了一个翻译好的文档地址https://flink.sojb.cn/,其完整性和正确性比我翻译好太多,故这方面不再更新。翻译 2019-03-05 08:45:52 · 555 阅读 · 0 评论 -
Flink DataStream转换(翻译官方文档)
最近准备用flink对之前项目进行重构,这是一个有挑战(但我很喜欢)的工作。几个月过去了,flink社区比起我做技术调研那阵发生了很多变化(包括blink的版本回推),我这边的版本也由1.4->1.7.2。现在网上有很多大方向的解析(阿里的几次直播),也有大神对框架的深入解析。我准备实际使用中mark一些关键的知识点/api。以下就是我翻译的flink流计算DataStream发现了一个翻译好的文档地址https://flink.sojb.cn/,其完整性和正确性比我翻译好太多,故不再更新翻译 2019-03-02 08:58:56 · 1828 阅读 · 0 评论 -
flink按字段对齐的流合并的实现
flink按字段对齐的流合并的实现最近在用flink重构storm程序,遇到了一些问题,其中比较麻烦的就是storm中的流合并如何在flink中实现。需求根据每条数据内的时间属性(同一类型的字段),拼装同一时间的多个流数据为一个流数据,尽可能保证只要能合并的数据时间戳对齐。在storm中通过fieldGrouping可以很简单的实现。.fieldsGrouping("test1", ...原创 2019-03-17 11:22:44 · 4516 阅读 · 0 评论