flink
从0入门flink
后来X大数据
大数据开发
展开
-
通过WordCount来理解Flink的状态与容错,checkpoint如何恢复?Flink学习入门(四)
在之前的flink文章中,有计算过wordCount案例,现提出假设:该word流在输入过程中项目挂掉了,如果重启项目还能继续无缝衔接吗?同时如何做到wordCount的单词累加呢?这设计到2个重要的知识点:有状态计算checkpoint 容错有状态计算可以说是Flink重要的特性之一先来看代码:在这里插入代码片...原创 2020-11-24 18:21:19 · 758 阅读 · 0 评论 -
Flink的窗口、时间语义,Watermark机制,多代码案例详解,Flink学习入门(三)
通过前2篇的学习,已经基本掌握了flink的基本使用,但是关于flink真正内核的东西还没开始说,那先简单介绍一下,flink的核心亮点:窗口时间语义精准一次性那我们今天先把之前的内容串一下我们通过第一篇的学习了解到了flink的wordCount,以及在第二篇的API 中,我们也只是获取到数据,进行简单的转换,就直接把数据输出。但是我们在之前都是以事件为驱动,等于说是来了一条数据,我就处理一次,但是现在遇到的问题是:我们可以简单的把wordCount的需求比做公司的订单金额,也就是订单金原创 2020-06-29 17:09:26 · 668 阅读 · 0 评论 -
Flink流处理API代码详解,含多种Source、Transform、Sink案例,Flink学习入门(二)
关于flink的入门在上一篇已经讲过了,写的不是一步一步那么详细,所以入门的小伙伴看着有些吃力,原创 2020-06-16 10:28:20 · 1209 阅读 · 0 评论 -
通过WordCount来入门Flink,读懂Flink基础架构,Flink学习入门(一)
最近公司的越来越多的业务要用到flink,我也正好把知识点再复习下,做到学以致用,哈哈,而且昨天看到flink1.11版本都开始支持hive流处理了,还是比较兴奋的。所以我再写个flink学习专栏。写完基本知识,也会夹杂着工作实例,算是给自己做个笔记。希望某篇文章能对你有所帮助。Flink初体验...原创 2020-06-06 15:49:15 · 368 阅读 · 0 评论