博客专栏  >  架构设计   >  Apache Flink

Apache Flink

Apache Flink是Apache顶级开源项目。是新一代集流处理和批处理于一体的大数据处理引擎。提供了对Hadoop YARN以及Storm大数据框架的编程接口的集成、适配支持,支持CEP、机器学习等。具备高性能、低延迟等特性。

关注
32 已关注
62篇博文
  • Flink关系型API的公共部分

    关系型程序的公共部分下面的代码段展示了Table&SQL API所编写流式程序的程序模式

    2017-07-13 22:31
    469
  • Flink关系型API简介

    在接触关系型API之前,用户通常会采用DataStream、DataSet API来编写Flink程序,它们都提供了丰富的处理能力,以DataStream为例,它有如下这些优点:

    2017-07-06 22:52
    575
  • Flink批处理中的增量迭代

    对某些迭代而言并不是单次迭代产生的下一次工作集中的每个元素都需要重新参与下一轮迭代,有时只需要重新计算部分数据同时选择性地更新解集,这种形式的迭代就是增量迭代。

    2017-06-13 23:38
    665
  • Flink-Table-SQL系列之source

    source作为Table&SQL API的数据源,同时也是程序的入口。当前Flink的Table&SQL API整体而言支持三种source:Table source、DataSet以及DataSt...

    2017-06-12 22:56
    594
  • 谈谈EventTime以及Watermark

    EventTime,ProcessingTime,Watermark,out-of-order..

    2017-06-09 09:58
    1242
  • 浅谈Flink批处理优化器之Join优化

    跟传统的关系型数据库类似,Flink提供了优化器“hint”(提示)以告诉优化器选择一些执行策略。目前优化提示主要针对批处理中的连接(join)。在批处理中共有三个跟连接有关的转换函数

    2017-04-24 22:25
    1993
  • Flink批处理优化器之数据属性

    在一段时间之前我们已介绍过IP(Interesting Property)对于优化器的意义以及它将对优化器的优化决策产生的影响。本篇我们将介绍Flink的批处理优化器中涉及到的所有的IP,我们将其统称...

    2017-04-09 22:17
    764
  • Flink批处理优化器之范围分区重写采用算法

    采样算法上一篇我们分析了RangePartitionRewriter的数据处理分支,接下来我们开始分析采样分支,采样分支的核心在于采样算法。因为范围分区输入端每个分区的数据量无从得知,也就是说我们无法...

    2017-04-07 18:42
    843
  • Flink批处理优化器之范围分区重写

    为最终计划应用范围分区重写Flink的批处理程序允许用户使用partitionByRange API来基于某个(或某些)字段进行按范围分区且可以选择性地指定排序顺序,示例代码如下:

    2017-04-05 21:27
    1228
  • Flink运行时之客户端提交作业图-下

    submitJob方法分析JobClientActor通过向JobManager的Actor发送SubmitJob消息来提交Job,JobManager接收到消息对象之后,构建一个JobInfo对象以...

    2017-04-02 20:08
    2447
  • Flink运行时之客户端提交作业图-上

    客户端提交作业图作业图(JobGraph)是Flink的运行时所能理解的作业表示,无论程序通过是DataStream还是DataSet API编写的,它们的JobGraph提交给JobManager以...

    2017-03-31 21:13
    815
  • Flink批处理优化器之成本估算

    成本估算在基于成本的优化器中,成本估算非常重要,它直接影响着候选计划的生成。在Flink中成本估算依赖于每个不同的运算符所提供的自己的“预算”,本篇我们将分析什么是成本、运算符如何提供自己的预算以及如...

    2017-03-28 22:56
    1699
  • Flink-CEP之模式流与运算符

    之前我们分析了CEP的API,接下来我们将分析CEP API的内部实现包括模式流与运算符。模式流模式流(PatternStream)是CEP模式匹配的流抽象,一个PatternStream对象表示模式...

    2017-03-16 23:17
    805
  • Flink-CEP之NFA编译器

    NFAbNFA ^ b编译器的作用是将模式对象编译成NFA或者NFAFactory(用来创建多种NFA对象)。这个编译的过程,需要对模式进行拆分从而构建状态以及根据条件构建状态转换信息,最终根据构建好...

    2017-03-11 22:14
    592
  • Flink-CEP之NFA

    NFAbNFA ^ b模型包含两个阶段:第一个阶段是模式匹配阶段,在这个阶段它将会向最终态过渡并随着事件被选择而扩展缓冲区;第二个阶段是匹配提取阶段,该阶段发生在超时或者到达最终态时,将会从缓冲区中检...

    2017-03-09 23:25
    473
  • Flink-CEP之带版本的共享缓冲区

    带版本的共享缓冲区当股票模式以一个事件流作为输入时,状态转换将会作用于事件流从而引起事件的状态变化。结合窗口对参与匹配的事件的限制以及模式中结合事件上下文(状态)的过滤条件,同一事件流随着时间的流动或...

    2017-03-05 23:30
    1201
  • Flink-CEP论文与源码解读之状态与状态转换

    Flink CEP的论文与设计Flink的CEP设计与实现重度参考了论文《Efficient Pattern Matching over Event Streams》。下面我们就来结合论文谈谈Flin...

    2017-03-03 22:12
    771
  • Flink之CEP案例分析-网络攻击检测

    上一篇我们介绍了Flink CEP的API,这一篇我们将以结合一个案例来练习使用CEP的API编写应用程序,以强化对API的理解。所选取的案例是对网络遭受的潜在攻击进行检测并给出告警。当下互联网安全形...

    2017-03-01 22:13
    693
  • Flink之CEP-API简介

    CEP API的核心是Pattern API,它允许你快速定义复杂的事件模式。每个模式包含多个阶段(stage)或者我们也可称为状态(state)。为了从一个状态切换到另一个状态,用户可以指定条件,这...

    2017-02-28 23:23
    780
  • Flink运行时之生成作业图

    生成作业图在分析完了流处理程序生成的流图(StreamGraph)以及批处理程序生成的优化后的计划(OptimizedPlan)之后,下一步就是生成它们面向Flink运行时执行引擎的共同抽象——作业图...

    2017-02-21 22:22
    827

img博客搬家
img撰写博客
img专家申请
img意见反馈
img返回顶部