joshua

前言：因flink升级至1.11，故后期版本至1.11一、简介 Flink 根据抽象程度分层，提供了三种不同的 API 和库。每一种 API 在简洁性和表达力上有着不同的侧重，并且针对不同的应用场景。 ProcessFunction：是 Flink 所提供最底层接口。ProcessFunction 可以处理一或两条输入数据流中的单个事件或者归入一个特定窗口内的多个事件。它提供了对于时间和状态的细粒度控制。开发者可以在其中任意地修改状态，也能够注册定时器用以在未来的某一时...

一、简介 Flink中每一个worker(TaskManager)都是一个JVM进程，它可能会在独立的线程（Solt）上执行一个或多个 subtask。Flink 的每个 TaskManager 为集群提供 Solt。Solt 的数量通常与每个 TaskManager 节点的可用 CPU 内核数成比例，一般情况下 Slot 的数量就是每个节点的 CPU 的核数。Slot的数量由集群中flink-conf.yaml配置文件中设 置taskmanager.numberOfTaskSlots 的...

一、简介 默认情况下，每个 Flink 集群只有一个 JobManager，这将导致单点故障（SPOF），如果这个 JobManager 挂了，则不能提交新的任务，并且运行中的程序也会失败。使用JobManager HA，集群可以从 JobManager 故障中恢复，从而避免单点故障。用户可以在Standalone 或 Flink on Yarn 集群模式下配置 Flink 集群 HA（高可用性）。 Standalone 模式下，JobManager 的高可用性的基本思想...

一、简介 Flink on Yarn 模式的原理是依靠 YARN 来调度 Flink 任务，目前在企业中使用较多。这种模式的好处是可以充分利用集群资源，提高集群机器的利用率，并且只需要 1 套 Hadoop集群，就可以执行 MapReduce 和 Spark 任务，还可以执行 Flink 任务等，操作非常方便，不需要维护多套集群，运维方面也很轻松。Flink on Yarn 模式需要依赖 Hadoop 集群，并且Hadoop 的版本需要是 2.2 及以上。PS：本人运行环境是基于clo...

一、介绍 Flink 的安装和部署主要分为本地（单机）模式和集群模式，其中本地模式只需直接解压就可以使用，不以修改任何参数，一般在做一些简单测试的时候使用。集群模式包含： Standalone Flink on Yarn Mesos Docker Kubernetes AWS Goole Compute Engine目前在企业中使用最多的是 Flink o...

一、开发环境 语言：Scala_2.11.12 Apache Flink：1.10二、开发工具 官方建议使用 IntelliJ IDEA，因为它默认集成了 Scala和 Maven 环境，使用更加方便，当然使用 Eclipse 也是可以的。开发 Flink 程序时，可以使用 Java、Python 或者 Scala 语言，本人使用 Scala，因为使用 Scala 实现函数式编程会比较简洁。三、配置依赖 开发 Flink 应用程序...

一、Flink是什么 Apache Flink is a framework and distributed processing engine for stateful computations overunbounded and boundeddata streams. Flink has been designed to run inall common cluster environments, perform computations atin-memory speed...

Flink1.10一个划时代的版本，它标志着对 Blink[1] 的整合宣告完成。而且随着对 Hive 的生产级别集成及对 TPC-DS 的全面覆盖，Flink 在增强流式 SQL 处理能力的同时也具备了成熟的批处理能力。 众所周知，Apache Flink官网下载安装包不能支持CDH，需要编译后进行安装，参照网上很多资料，尝试了多天，终于成功，供大家参考。一、环境准备1、环境：Jdk 1.8、centos7.6、Maven 3.6.3和Scala-2.112、源...

前言： 本博客用于监督记录本人学习Flink。会从0开始分享一些学习过程。思考: 目前实时框架有老牌Strom，也有Strom的升级版Trident，还有应用广泛的Spark Streaming。为什么又出了个Flink？与其他两者相比Flink有什么优势？解答： 不多哔哔直接对比！！！框架 处理机制 API 保证次数 容错 状态管理 延时 吞吐量 Storm Native(数据进入...