![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
<>=
这个作者很懒,什么都没留下…
展开
-
Flink 笔记
Apache Flink概述Flink是构建在Data Stream之上一款有状态计算框架。由于该款框架出现的较晚2014.12月发布,通常被人们认为是第3代流计算框架。第一代:MapReduce 2006年 批 磁盘 M->R 矢量 | 2014.9 Storm诞生 流 延迟低/吞吐小第二代:Spark RDD 2014.2 批 内存 DAG (若干Stage) | 使用mic...原创 2020-01-19 15:03:03 · 316 阅读 · 0 评论 -
Apache Flink 流处理(快速入门)
Flink Streaming概述DataStream在Flink中实现了对数据流的Transformation,内部Flink的数据源可以通过各种数据源创建,例如:消息队列、socket streams、文件。流计算的结果通过Sinks输出,例如 将数据写入文件、标准输出等。共同依赖<properties> <flink.version>1.7.1</f...原创 2020-01-19 15:01:28 · 516 阅读 · 0 评论 -
Apache Flink DataStreamAPI之 Windows(章节五)
窗口计算Windows是流计算的核心。Windows将流拆分为有限大小的“桶”,我们可以在其上应用计算。基本概念Window Assigners:Window Assigners定义如何将元素分配给窗口。WindowAssigner负责将每个传入元素分配给一个或多个窗口。Flink为最常见的用例提供了预定义的Window Assigners,分别是tumbling windows, slid...原创 2020-01-19 15:02:05 · 133 阅读 · 0 评论 -
Apache Flink Stream API之State & Fault Tolerance(章节四)
作者:jiangzz 电话:15652034180 微信:jiangzz_wx 微信公众账号:jiangzz_wyState & Fault Tolerance针对于流处理的有状态function和operators可以存储流计算过程中的每个Event的计算状态。状态计算是构建精确操作不会或缺的板块。Flink需要获知计算节点的状态,从而使用checkpoint和savepoint机制...转载 2020-01-19 15:08:24 · 201 阅读 · 0 评论 -
Apache Flink DataStream API之Transformation(章节三)
作者:jiangzz 电话:15652034180 微信:jiangzz_wx 微信公众账号:jiangzz_wyDataStream 数据转换常规操作符// order zhangsan TV,GAMEval env = StreamExecutionEnvironment.createLocalEnvironment()val props = new Properties()pro...转载 2020-01-19 15:07:58 · 75 阅读 · 0 评论 -
Apache Flink DataStream API之程序结构分析&DataSource(章节二)
ApacheFlink® - 是针对于数据流的状态计算,Flink具有特殊类DataSet和DataStream来表示程序中的数据。您可以将它们视为可以包含重复项的不可变数据集合。在DataSet的情况下,数据是有限的,而对于DataStream,元素的数量可以是无限的。这些集合在某些关键方面与常规Java集合不同。首先,它们是不可变的,这意味着一旦创建它们就无法添加或删除元素。你也不能简单地检...转载 2020-01-19 15:07:41 · 117 阅读 · 0 评论 -
Apache Flink 章节1
Apache FlinkFlink 概述首先大数据存储和分析引擎Hadoop自2006年诞生。谈及Hadoop大家自然不会对 MapReduce感到陌生,它将计算分为两个阶段,分别为 Map 和 Reduce。MapReduce计算框架虽然借鉴了函数式编程和矢量编程的思想完成了分布式计算。但不得不承认MapReduce在矢量编程结构过于简单,在完成一些比较复杂的高阶计算(例如:机器学习线性回归...转载 2020-01-19 15:07:29 · 147 阅读 · 0 评论 -
Apache Flink之架构概述和环境(章节一)
背景介绍继Spark之后第三代内存计算框架Flink应运而生,Flink作为第三代计算框架Flink吸取了二代大数据Spark计算的设计的精华,依然采用DAG模型做任务拆分,但是Spark在流处理领域上因为微观批处理实时性不高甚至在性能上还不能和一代流处理框架Storm匹敌。因此第三代计算引擎Flink诞生了,主要原因是Flink是一个纯流式计算引擎,而类似于Spark这种微批的引擎,只是Fl...转载 2019-12-06 21:43:25 · 104 阅读 · 0 评论