柳小葱的flink之路
文章平均质量分 95
本专栏主要记录和学习flink的知识
柳小葱
北京市某高校管理科学与工程专业的学生,主要研究方向是人工智能与大数据,二进宫字节,曾担任字节跳动大数据开发实习生、滴滴出行数据研发及分析实习生,目前已获数据库系统工程师(软考中级)、阿里云大数据助理工程师(ACA)证书。欢迎大家一起学习和交流!
展开
-
Flink学习之容错机制和状态一致性
☀️在前天的学习中,我们学习了flink中的几个重要概念:时间、水位线和状态,今天我们继续学习flink中的两个重要机制:容错机制和状态一致性保证。对往期内容感兴趣的同学可以参考👇:链接: Flink学习中之time、watermark、state.链接: Flink实战之电商用户行为实时分析.链接: Flink学习之flink sql.链接: Flink学习之Table API(python版本).链接: Flink学习之DataStream API(python版本).🌰flink的容错原创 2022-03-08 14:40:20 · 2713 阅读 · 2 评论 -
Flink学习中之time、watermark、state
🌿今天我们来了解一下flink中的几个重要基础概念:time、watermark、state,这是flink流处理中实现数据流执行速度快和结果正确的要点,对往期内容感兴趣的同学可以看下面👇:链接: Flink学习专辑.🌰其实在前面的章节中,我们也介绍了一些时间、状态的概念,但不够深入,本篇博客将从flink的运行机制上说明这些概念在流处理框架中的作用。目录1. Time2. Watermark2.1 Watermark的作用2.2 Watermark的特点2.3 Watermark的案例2.3原创 2022-03-06 17:37:00 · 2074 阅读 · 5 评论 -
Flink实战之电商用户行为实时分析
????在前面的章节中,我们学习了flink的DataStream API、Table API和SQL,想必大家学完后都想找个项目实战一下,于是它来了,对往期内容感兴趣的同学可以参考????:链接: Flink学习之flink sql.链接: Flink学习之Table API(python版本).链接: Flink学习之DataStream API(python版本).链接: Hadoop专题.链接: Spark专题.????今天我们实战的项目是关于电商用户行为实时分析,主要是用flink原创 2022-02-20 17:02:00 · 6186 阅读 · 8 评论 -
Flink学习之flink sql
???? 昨天我们学习完Table API后,今天我们继续学SQL,Table API和SQL可以处理SQL语言编写的查询语句,但是这些查询需要嵌入用Java、Scala和python编写的程序中。hadoop专题: hadoop系列文章.spark专题: spark系列文章.flink专题: Flink系列文章.????只需要具备 SQL 的基础知识即可,不需要其他编程经验。我的SQL 客户端选择的是docker安装的Flink SQL Click,大家根据自己的需求安装即可。目录1.1.原创 2022-02-19 18:33:45 · 16135 阅读 · 3 评论 -
Flink学习之Table API(python版本)
⛄️昨天学习完一些比较基础的Datastream的API后,让我们继续学习Datastream上一层的Table API和SQL,这两个API都是处理关系型数据的,可以降低flink的开发门槛。对往期内容感兴趣的同学可以参考如下内容????:hadoop专题: hadoop系列文章.spark专题: spark系列文章.flink专题: Flink系列文章.????Table API和SQL可以通过一种更加直观的方式对数据流进行多种处理,比如选择、过滤、分组、求和以及多表连接,也支持窗口操作。原创 2022-02-18 22:32:43 · 2245 阅读 · 1 评论 -
Flink学习之DataStream API(python版本)
1. 安装pyflinkpython3 -m pip install apache-flink -i https://pypi.tuna.tsinghua.edu.cn/simple/2.原创 2022-02-17 20:46:35 · 4581 阅读 · 15 评论 -
Flink学习之流处理原理
????????????今天是情人节,祝大家情人节快乐!今天我们来继续flink教程,我们今日要学习的是流处理的原理。注意一下,我这里的流处理指的不是flink的流处理,而是流处理的基础模型——Dataflow模型。对以前内容感兴趣的同学可以参考如下内容????:hadoop专题: hadoop系列文章.spark专题: spark系列文章.flink专题: Flink系列文章.????????❤️本篇文章介绍的Dataflow模型可以誉为“现代流数据计算的基石”,flink借鉴的其中大部分的内原创 2022-02-15 00:42:39 · 2082 阅读 · 1 评论 -
Flink学习之流处理架构
????在上一章的学习中,我们学习了docker安装flink环境,并搭配了一系列流处理框架的组建,在这一章我们将介绍一下流式处理框架的原理,对往期其内容感兴趣的同学可以参考如下内容????:hadoop专题: hadoop系列文章.spark专题: spark系列文章.flink专题: Flink系列文章.????本篇博客主要讲解流处理框架与传统框架的比较,以及流处理框架的组成结构,让我们开始今日份的学习吧。目录1. 引言2. 传统框架和流处理框架3. 消息传输层和流处理层3.1 消息传输层原创 2022-02-02 20:44:14 · 7081 阅读 · 4 评论 -
Flink学习之环境搭建
???? 记得上一次写flink的博客还是在公司,又过去几个月,最近这段时间,被Flink的环境折磨的半死不活,但是,最终还是成功了,于是,就接着来到了flink的学习,接下来我将介绍flink的相关的内容,对往期内容感兴趣的小伙伴可以查看下面????:hadoop专题: hadoop系列文章.spark专题: spark系列文章.flink专题: Flink系列文章.????博主不会java,也不会scala,只会python和SQL,于是就准备学习Flink SQL 和 PyFlink,于是原创 2022-01-26 21:10:32 · 5317 阅读 · 6 评论 -
Flink学习之理论基础
???? 最近谈恋爱了,开心!恋爱归恋爱,学习归学习,今天就步入大数据实时领域吧,实习的这段期间接触较多的就是离线处理,hadoop和spark引擎已经比较熟悉了,而实时调度接触较少,但却有着无限大的发展潜力,一定是未来数据发展的一个趋势,今天我们就从当下最火的实时计算框架Flink开始,开启实时数据的新篇章。给大家推荐几个网址????:flink中文社区: flink中文官方网址.flink英文教程: flink英文官方网址.????flink就凸显一个计算又快又准,sparkstream运行时原创 2021-11-20 17:29:53 · 2267 阅读 · 1 评论