flink
流计算
姜同学的学习笔记
这个作者很懒,什么都没留下…
展开
-
Flink 原理 安装 WordCount案例
Apache Flink概述Flink是构建在数据流之上的有状态计算的流计算框架,通常被人们理理解为是 第三代 大数据分析方案。第一代 - Hadoop的MapReduce计算(静态)、Storm流计算(2014.9) ;两套独立计算引擎,使用难度大第二代 - Spark RDD 静态批处理理(2014.2)、DStream|Structured Streaming流计算;统一计算...原创 2020-03-04 22:50:09 · 235 阅读 · 0 评论 -
Flink 程序部署 读取文件Kafka重点讲解
Flink程序部署本地部署package com.baizhi.jsy.deployimport org.apache.flink.streaming.api.scala._object FlinkWordCountCreateLocal { def main(args: Array[String]): Unit = { //1.创建流计算执⾏行行环境 val env ...原创 2020-03-05 15:07:09 · 544 阅读 · 0 评论 -
Flink DataSinks写入kafka重点
Data Sinks数据接收器使用DataStreams并将其转发到文件,套接字,外部系统或打印它们。Flink带有多种内置输出格式,这些格式封装在DataStreams的操作后面:writeAsText()/ TextOutputFormat-将元素按行写为字符串。通过调用每个元素的toString()方法获得字符串。writeAsCsv(…)/ CsvOutputFormat-将元组写...原创 2020-03-05 22:57:18 · 4486 阅读 · 0 评论 -
Flink Operators算子
Operators运营商将一个或多个DataStream转换为新的DataStream。程序可以将多种转换组合成复杂的数据流拓扑。本节描述了基本转换,应用这些转换后的有效物理分区以及对Flink运算符链接的见解。DataStream TransformationsMapDataStream → DataStream取一个元素并产生一个元素。一个映射函数,将输入流的值加倍:DataSt...原创 2020-03-07 10:13:18 · 319 阅读 · 0 评论 -
Flink State & Fault Tolerance
State & Fault Tolerance(重点)Flink是一个基于状态计算的流计算服务。Flink将所有的状态分为两大类: keyed state 与 operator state .所谓的keyed state指的是Flink底层会给每一个Key绑定若干个类型的状态值,特指操作KeyedStream中所涉及的状态。所谓operator state指的是非keyed stream...原创 2020-03-10 14:54:30 · 175 阅读 · 0 评论 -
Flink State Time-To-Live (TTL)
State Time-To-Live (TTL)一个时间的生存期(TTL)可以被分配给任何类型的键控状态。如果已配置TTL并且状态值已过期,则将尽力清除存储的值,下面将对此进行详细讨论。所有状态收集类型均支持按条目TTL。这意味着列表元素和映射条目独立过期。为了使用状态TTL,必须首先构建一个StateTtlConfig配置对象。然后可以通过传递配置在任何状态描述符中启用TTL功能://创建对...原创 2020-03-10 15:03:58 · 1646 阅读 · 0 评论 -
Flink Managed Keyed State
Managed Keyed StateFlink中有两种基本状态:Keyed State和Operator State。键控状态键控状态始终与键相关,并且只能在上的函数和运算符中使用KeyedStream。您可以将“键控状态”视为已分区或分片的操作员状态,每个键仅具有一个状态分区。每个键状态在逻辑上都绑定到<parallel-operator-instance,key>的唯一组...原创 2020-03-10 22:45:58 · 269 阅读 · 0 评论 -
Flink Broadcast State Pattern / Queryable State
Broadcast State Pattern广播状态是Flink提供的第三种状态共享的场景。通常需要将一个吞吐量比较小的流中状态数据进行⼴广播给下游的任务,另外一个流可以只读的形式读取广播状态。使用场景:DataStream链接 BroadcastStreampackage com.baizhi.jsy.broadCastimport org.apache.flink.api.comm...原创 2020-03-11 20:52:17 · 229 阅读 · 0 评论 -
Flink window 以及windowFunction
WindowsWindows是处理无限流的核心。Windows将流分成有限大小的“存储桶”,我们可以在其上应用计算。本文档重点介绍如何在Flink中执行窗口化,以及程序员如何从其提供的功能中获得最大收益。窗口式Flink程序的一般结构如下所示。第一个片段指的是键控流,第二个片段指的是非**键控流。正如人们所看到的,唯一的区别是keyBy(…)呼吁密钥流和window(…)成为windowAll...原创 2020-03-12 14:53:50 · 1781 阅读 · 0 评论 -
Flink Trigger触发器 Evictors剔除器
TriggerA Trigger确定窗口(由窗口分配器形成)何时准备好由窗口函数处理。每个WindowAssigner都有一个默认值Trigger。如果默认触发器不符合您的需求,则可以使用指定自定义触发器trigger(…)。触发器接口具有五种方法,它们允许a Trigger对不同事件做出反应:onElement()对于添加到窗口中的每个元素,都会调用该方法。onEventTime()当...原创 2020-03-13 13:18:00 · 395 阅读 · 0 评论 -
Flink EventTime Window
EventTime WindowFlink流计算传输中支持多种时间概念:ProcessingTime/EventTime/IngestionTime如果Flink子使用的时候不做特殊设定,默认使用的是ProcessingTime。其中和ProcessingTime类似IngestionTime都是由系统自动产生,不同的是IngestionTime是由DataSource源产生而Proces...原创 2020-03-14 19:59:07 · 397 阅读 · 0 评论