Flink
xiaoxin1024
the life i want,this is no shortcut.
展开
-
Flink初入门-运行时环境
Flink1.7官网文档翻译 -原创-flink.sojb.cn目录任务和算子链TaskManager,JobManager,客户端任务槽和资源状态后台SavePoint任务和算子链对于分布式执行,Flink链算子任务一起放入任务。每个任务由一个线程执行。将算子链接到任务中是一项有用的优化:它可以Reduce线程到线程切换和缓冲多的开销,并在降低延迟的...转载 2019-06-27 14:24:30 · 233 阅读 · 0 评论 -
Flink初入门-API使用
简单的wordCount就不再演示了,可以移步官网-https://ci.apache.org/projects/flink/flink-docs-release-1.8/tutorials/local_setup.htmlFlink的程序每个程序包含相同的基本部分如下:1.获得一个execution environment2.加载/创建初始数据,3.执行此数据的转换,4.指定...转载 2019-06-27 16:47:43 · 511 阅读 · 0 评论 -
Flink初入门-应用场景
一、Flink简介Apache Flink®- Stateful Computations over Data Streams上面是官网的介绍,翻译过来是流数据上的有状态的计算。-Flink执行模型:1.流计算:数据不断产生,一致处于计算状态2.批处理:完成一定时间段的计算任务官网给的有中文网站链接,github上面也有很多开源的翻译~https://flink.apac...转载 2019-06-27 11:40:13 · 684 阅读 · 0 评论 -
Flink初入门-API使用(补)
目录数据存储/接收器迭代:执行参数:容错:控制延迟:数据存储/接收器数据接收器使用DataStream将他们转发到文件,socket,外部系统或者打印他们。Flink带有各种被指的输出格式,这些格式封装再DataStream上的算子操作后面:writeAsText() / TextOutputFormat -按字符串顺序写入数据元。通过调用每个数据元的toStr...转载 2019-06-28 22:34:07 · 475 阅读 · 0 评论 -
Flink初入门-容错处理
目录检查点:启用和配置检查点:相关的配置选项:选择状态后台:迭代作业中的状态检查点:重启策略:检查点:检查点通过允许恢复状态和相应的流位置使Flink中的状态容错,从而为引用程序提供无故障执行相同的语义。--Flink中每个函数和运算符都是有状态的(有关详细信息,请参阅state)。有状态函数在各个元素/事件处理中存储数据,使状态成为任何类型的复杂操作的关...转载 2019-06-29 22:46:20 · 219 阅读 · 0 评论 -
Flink初入门-状态
目录状态运行:被Keys化状态和算子状态:算子状态;原始和托管状态:Keys化使用托管状态:状态运行:本文档介绍了在开发应用程序时如何使用Flink的状态抽象。被Keys化状态和算子状态:Flink有两种基本的状态:Keyed State和Operator State。被Keys化状态:被Keys化状态始终与键相关,只能在a上的函数和算子中使用Ke...转载 2019-06-29 23:55:02 · 228 阅读 · 0 评论