Flink
周英俊520
这个作者很懒,什么都没留下…
展开
-
The Dataflow Model论文学习笔记
因为是被誉为流计算基石的论文,所以决定花时间学习一下。这篇论文在开篇总结了流计算的应用场景 主要是说现在对数据处理的语义越来越复杂, 对延时性的要求越来越苛刻。。在这里对Spark Streaming的微批次流处理模型进行了批评,在流计算的时候应该遵从的理念是我们不知道数据何何时流何时被终结,何时数据会完整,唯一确信的是新的数据会源源不断的进来,老的数据会被撤销或者更新。基于这个思路来设计...原创 2019-08-06 09:16:34 · 666 阅读 · 1 评论 -
Flink比赛之前的基础学习
本博客描述了我学习flink的来龙去脉,不保证最终的学习效果!!!http://wuchong.me/可以先看大牛博客里的几篇文章建议就看两篇Flink原理与实现:理解Flink中的计算资源Flink原理与实现:架构和拓扑概览。接下来主要是对Flink Table & SQL的文档 API进行翻译和解读。文档地址:https://ci.apache.or...原创 2019-08-19 13:13:41 · 431 阅读 · 0 评论 -
Flink学习笔记之Process Function
预计一周时间来完成这篇文章, 对Flink文档提供的基础入门的每个环节进行研究记录(目的是想参加阿里的Flink编程比赛):如图Flink提供了不同级别的抽象编程模型,先看最低级别的Stateful Stream Processing,它通过Process Function嵌入到DataStream API当中(有说法是在Flink未来的迭代过程当中会移除DataSet API, 在现有...原创 2019-08-17 10:59:48 · 595 阅读 · 0 评论 -
Windows 本地启动Flink.
首先需要安装jdk8版本,并且配置环境变量, 然后上官网http://mirror.bit.edu.cn/apache/flink/flink-1.8.1/flink-1.8.1-bin-scala_2.11.tgz下载flink1.8版本。到解压后的目录下启动start-cluster.sh脚本, 然后在网页上输入localhost:8081进行验证发现可以看到Flink UI说明成功....原创 2019-08-22 13:45:30 · 1036 阅读 · 0 评论