Flink
文章平均质量分 96
zhisheng_blog
这个作者很懒,什么都没留下…
展开
-
Flink 源码解析 —— 深度解析 Flink 是如何管理好内存的?
前言 如今,许多用于分析大型数据集的开源系统都是用 Java 或者是基于 JVM 的编程语言实现的。最着名的例子是 Apache Hadoop,还有较新的框架,如 Apache Spark、Apache Drill、Apache Flink。基于 JVM 的数据分析引擎面临的一个常见挑战就是如何在内存中存储大量的数据(包括缓存和高效处理)。合理的管理好 JVM 内存可以将 ...原创 2019-08-12 07:12:00 · 1133 阅读 · 0 评论 -
Flink 源码解析 —— 如何获取 JobGraph?
JobGraph https://t.zsxq.com/naaMf6y 博客 1、Flink 从0到1学习 —— Apache Flink 介绍 2、Flink 从0到1学习 —— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门 3、Flink 从0到1学习 —— Flink 配置文件详解 4、Flink 从0到1学习 —— Data So...原创 2019-08-13 21:31:25 · 1117 阅读 · 0 评论 -
Flink 源码解析 —— Standalone Session Cluster 启动流程深度分析之 Task Manager 启动
Task Manager 启动 https://t.zsxq.com/qjEUFau 博客 1、Flink 从0到1学习 —— Apache Flink 介绍 2、Flink 从0到1学习 —— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门 3、Flink 从0到1学习 —— Flink 配置文件详解 4、Flink 从0到1学习 ...原创 2019-08-18 19:39:02 · 410 阅读 · 0 评论 -
Flink 源码解析 —— Standalone session 模式启动流程
Standalone session 模式启动流程 https://t.zsxq.com/EemAEIi 博客 1、Flink 从0到1学习 —— Apache Flink 介绍 2、Flink 从0到1学习 —— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门 3、Flink 从0到1学习 —— Flink 配置文件详解 4、Flink ...原创 2019-08-18 19:37:46 · 1404 阅读 · 0 评论 -
Flink 源码解析 —— Standalone Session Cluster 启动流程深度分析之 Job Manager 启动
Job Manager 启动 https://t.zsxq.com/AurR3rN 博客 1、Flink 从0到1学习 —— Apache Flink 介绍 2、Flink 从0到1学习 —— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门 3、Flink 从0到1学习 —— Flink 配置文件详解 4、Flink 从0到1学习 —— D...原创 2019-08-18 19:36:02 · 754 阅读 · 0 评论 -
Apache Flink 1.9 重大特性提前解读
https://mp.weixin.qq.com/s/ZcjKRlmRtD_-tSVaTL4j7Q原创 2019-06-29 14:16:57 · 727 阅读 · 0 评论 -
Flink 从0到1学习—— Flink 不可以连续 Split(分流)?
前言今天上午被 Flink 的一个算子困惑了下,具体问题是什么呢?我有这么个需求:有不同种类型的告警数据流(包含恢复数据),然后我要将这些数据流做一个拆分,拆分后的话,每种告警里面的数据又想将告警数据和恢复数据拆分出来。结果,这个需求用 Flink 的 Split 运算符出现了问题。分析需求如下图所示:我是期望如上这样将数据流进行拆分的,最后将每种告警和恢复用不同的消息模版做一个渲染...原创 2019-06-13 23:23:49 · 2017 阅读 · 0 评论 -
Flink 源码解析 —— Flink JobManager 有什么作用?
JobManager 的作用 https://t.zsxq.com/2VRrbuf 博客 1、Flink 从0到1学习 —— Apache Flink 介绍 2、Flink 从0到1学习 —— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门 3、Flink 从0到1学习 —— Flink 配置文件详解 4、Flink 从0到1学习 —— Data...原创 2019-08-13 21:35:09 · 1236 阅读 · 0 评论 -
Flink 源码解析 —— JobManager 处理 SubmitJob 的过程
JobManager 处理 SubmitJob https://t.zsxq.com/3JQJMzZ 博客 1、Flink 从0到1学习 —— Apache Flink 介绍 2、Flink 从0到1学习 —— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门 3、Flink 从0到1学习 —— Flink 配置文件详解 4、Flink 从0到1学...原创 2019-08-13 21:38:56 · 618 阅读 · 0 评论 -
Flink Metrics 源码解析
Flink Metrics 有如下模块: Flink Metrics 源码解析 —— Flink-metrics-core Flink Metrics 源码解析 —— Flink-metrics-datadog Flink Metrics 源码解析 —— Flink-metrics-dropwizard Flink Metrics 源码解析 —— Flink-m...原创 2019-08-13 21:42:14 · 779 阅读 · 0 评论 -
Flink 源码解析 —— 如何获取 ExecutionGraph ?
https://t.zsxq.com/UnA2jIi 博客 1、Flink 从0到1学习 —— Apache Flink 介绍 2、Flink 从0到1学习 —— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门 3、Flink 从0到1学习 —— Flink 配置文件详解 4、Flink 从0到1学习 —— Data Source 介绍 5、Fl...原创 2019-08-11 21:43:27 · 965 阅读 · 0 评论 -
Flink Clients 源码解析
Flink-Client 模块中的类结构如下: https://t.zsxq.com/IMzNZjY 博客 1、Flink 从0到1学习 —— Apache Flink 介绍 2、Flink 从0到1学习 —— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门 3、Flink 从0到1学习 —— Flink 配置文件详解 4、Fl...原创 2019-08-11 21:40:45 · 573 阅读 · 0 评论 -
Flink 源码解析 —— 深度解析 Flink Checkpoint 机制
Flink Checkpoint 机制 https://t.zsxq.com/ynQNbeM 博客 1、Flink 从0到1学习 —— Apache Flink 介绍 2、Flink 从0到1学习 —— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门 3、Flink 从0到1学习 —— Flink 配置文件详解 4、Flink 从0到1学习...原创 2019-08-10 18:46:21 · 1445 阅读 · 0 评论 -
Flink 源码解析 —— 分析 Batch WordCount 程序的执行过程
批处理的 WordCount 程序分析: https://t.zsxq.com/YJ2Zrfi 博客 1、Flink 从0到1学习 —— Apache Flink 介绍 2、Flink 从0到1学习 —— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门 3、Flink 从0到1学习 —— Flink 配置文件详解 4、Flink 从0到1学...原创 2019-08-10 18:44:26 · 1046 阅读 · 0 评论 -
Flink Annotations 源码解析
Flink-Annotations 模块中的类结构如下: https://t.zsxq.com/f6eAu3J 博客 1、Flink 从0到1学习 —— Apache Flink 介绍 2、Flink 从0到1学习 —— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门 3、Flink 从0到1学习 —— Flink 配置文件详...原创 2019-08-10 18:43:09 · 1369 阅读 · 1 评论 -
Flink 源码解析 —— 源码编译运行
更新一篇知识星球里面的源码分析文章,去年写的,周末自己录了个视频,大家看下效果好吗?如果好的话,后面补录发在知识星球里面的其他源码解析文章。 前言 之前自己本地 clone 了 Flink 的源码,编译过,然后 share 到了 GitHub 上去了,自己也写了一些源码的中文注释,并且 push 到了 GitHub 上去了。这几天阿里开源了宣传已久的 Blink,结果...原创 2019-08-10 18:36:40 · 745 阅读 · 0 评论 -
你公司到底需不需要引入实时计算引擎?
前言先广而告之,本文摘自本人《大数据重磅炸弹——实时计算框架 Flink》课程第二篇,内容首发自我的知识星球,后面持续在星球里更新。自己之前发布过一篇 Chat 《大数据“重磅炸弹”:实时计算框架 Flink》,里面介绍了多种需求:小田,你看能不能做个监控大屏实时查看促销活动销售额(GMV)?小朱,搞促销活动的时候能不能实时统计下网站的 PV/UV 啊?小鹏,我们现在搞促销活动...原创 2019-08-10 18:26:03 · 383 阅读 · 0 评论 -
Flink 源码解析 —— 深度解析 Flink 序列化机制
Flink 序列化机制 https://t.zsxq.com/JaQfeMf 博客 1、Flink 从0到1学习 —— Apache Flink 介绍 2、Flink 从0到1学习 —— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门 3、Flink 从0到1学习 —— Flink 配置文件详解 4、Flink 从0到1学习 —— Data...原创 2019-08-13 21:45:41 · 543 阅读 · 0 评论 -
Flink 从0到1学习—— 分享四本 Flink 国外的书和二十多篇 Paper 论文
前言之前也分享了不少自己的文章,但是对于 Flink 来说,还是有不少新入门的朋友,这里给大家分享点 Flink 相关的资料(国外数据 pdf 和流处理相关的 Paper),期望可以帮你更好的理解 Flink。书籍1、《Introduction to Apache Flink book》这本书比较薄,简单介绍了 Flink,也有中文版,读完可以对 Flink 有个大概的了解。2、《Le...原创 2019-06-13 23:19:44 · 1464 阅读 · 2 评论 -
Flink 源码解析
1、Flink 源码解析 —— 源码编译运行2、Flink 源码解析 —— 项目结构一览3、Flink 源码解析—— local 模式启动流程4、Flink 源码解析 —— standalone session 模式启动流程5、Flink 源码解析 —— Standalone Session Cluster 启动流程深度分析之 Job Manager 启动6、Flink 源码解析 —— ...原创 2019-06-08 13:48:24 · 1286 阅读 · 1 评论 -
《从0到1学习Flink》—— 介绍Flink中的Stream Windows
Github 代码仓库https://github.com/zhisheng17/flink-learning/以后这个项目的所有代码都将放在这个仓库里,包含了自己学习 flink 的一些 demo 和博客相关文章1、《从0到1学习Flink》—— Apache Flink 介绍2、《从0到1学习Flink》—— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门3、《...原创 2019-01-10 23:39:26 · 396 阅读 · 0 评论 -
《从0到1学习Flink》—— Flink Data transformation(转换)
前言在第一篇介绍 Flink 的文章 《《从0到1学习Flink》—— Apache Flink 介绍》 中就说过 Flink 程序的结构Flink 应用程序结构就是如上图所示:1、Source: 数据源,Flink 在流处理和批处理上的 source 大概有 4 类:基于本地集合的 source、基于文件的 source、基于网络套接字的 source、自定义的 source。自定义...原创 2018-12-02 20:47:06 · 545 阅读 · 0 评论 -
《从0到1学习Flink》—— 如何自定义 Data Sink ?
前言前篇文章 《从0到1学习Flink》—— Data Sink 介绍 介绍了 Flink Data Sink,也介绍了 Flink 自带的 Sink,那么如何自定义自己的 Sink 呢?这篇文章将写一个 demo 教大家将从 Kafka Source 的数据 Sink 到 MySQL 中去。准备工作我们先来看下 Flink 从 Kafka topic 中获取数据的 demo,首先你需要...原创 2018-11-04 21:29:13 · 1206 阅读 · 0 评论 -
《从0到1学习Flink》—— 如何自定义 Data Source ?
前言在 《从0到1学习Flink》—— Data Source 介绍 文章中,我给大家介绍了 Flink Data Source 以及简短的介绍了一下自定义 Data Source,这篇文章更详细的介绍下,并写一个 demo 出来让大家理解。Flink Kafka source准备工作我们先来看下 Flink 从 Kafka topic 中获取数据的 demo,首先你需要安装好了 FL...原创 2018-11-04 21:28:27 · 414 阅读 · 0 评论 -
《从0到1学习Flink》—— Data Sink 介绍
前言再上一篇文章中 《从0到1学习Flink》—— Data Source 介绍 讲解了 Flink Data Source ,那么这里就来讲讲 Flink Data Sink 吧。首先 Sink 的意思是:大概可以猜到了吧!Data sink 有点把数据存储下来(落库)的意思。如上图,Source 就是数据的来源,中间的 Compute 其实就是 Flink 干的事情,可以做一系...原创 2018-11-04 21:27:31 · 758 阅读 · 0 评论 -
《从0到1学习Flink》—— Data Source 介绍
前言Data Sources 是什么呢?就字面意思其实就可以知道:数据来源。Flink 做为一款流式计算框架,它可用来做批处理,即处理静态的数据集、历史的数据集;也可以用来做流处理,即实时的处理些实时数据流,实时的产生数据流结果,只要数据源源不断的过来,Flink 就能够一直计算下去,这个 Data Sources 就是数据的来源地。Flink 中你可以使用 StreamExecutio...原创 2018-11-04 21:26:29 · 661 阅读 · 2 评论 -
《从0到1学习Flink》—— Flink 配置文件详解
前面文章我们已经知道 Flink 是什么东西了,安装好 Flink 后,我们再来看下安装路径下的配置文件吧。安装目录下主要有 flink-conf.yaml 配置、日志的配置文件、zk 配置、Flink SQL Client 配置。flink-conf.yaml基础配置# jobManager 的IP地址jobmanager.rpc.address: localhost# Jo...原创 2018-11-04 21:25:23 · 3651 阅读 · 1 评论 -
《从0到1学习Flink》—— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门
准备工作1、安装查看 Java 的版本号,推荐使用 Java 8。安装 Flink2、在 Mac OS X 上安装 Flink 是非常方便的。推荐通过 homebrew 来安装。brew install apache-flink3、检查安装:flink --version结果:Version: 1.6.0, Commit ID: ff472b44、启动 flinkzh...原创 2018-11-04 21:24:08 · 792 阅读 · 0 评论 -
《从0到1学习Flink》—— Flink 中几种 Time 详解
Github 代码仓库https://github.com/zhisheng17/flink-learning/以后这个项目的所有代码都将放在这个仓库里,包含了自己学习 flink 的一些 demo 和博客相关文章1、《从0到1学习Flink》—— Apache Flink 介绍2、《从0到1学习Flink》—— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门3、《...原创 2019-01-10 23:40:55 · 455 阅读 · 0 评论 -
《从0到1学习Flink》—— Flink 写入数据到 ElasticSearch
Github 代码仓库https://github.com/zhisheng17/flink-learning/以后这个项目的所有代码都将放在这个仓库里,包含了自己学习 flink 的一些 demo 和博客相关文章1、《从0到1学习Flink》—— Apache Flink 介绍2、《从0到1学习Flink》—— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门3、《...原创 2019-01-10 23:42:17 · 1422 阅读 · 1 评论 -
《从0到1学习Flink》—— Flink 项目如何运行?
Github 代码仓库https://github.com/zhisheng17/flink-learning/以后这个项目的所有代码都将放在这个仓库里,包含了自己学习 flink 的一些 demo 和博客相关文章1、《从0到1学习Flink》—— Apache Flink 介绍2、《从0到1学习Flink》—— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门3、《...原创 2019-01-10 23:43:38 · 361 阅读 · 0 评论 -
Flink 全网最全资源(视频、博客、PPT、入门、原理、实战、性能调优、源码解析、问答等持续更新)
Flink 学习https://github.com/zhisheng17/flink-learning麻烦路过的各位亲给这个项目点个 star,太不易了,写了这么多,算是对我坚持下来的一种鼓励吧!http://www.54tianzhisheng.cn/2019/12/31/Flink-resources/本项目结构博客1、Flink 从0到1学习 —— Apache Flink...原创 2019-06-02 18:23:26 · 7750 阅读 · 6 评论 -
《Flink 源码解析》—— 源码编译运行
更新一篇知识星球里面的源码分析文章,去年写的,周末自己录了个视频,大家看下效果好吗?如果好的话,后面补录发在知识星球里面的其他源码解析文章。前言之前自己本地 clone 了 Flink 的源码,编译过,然后 share 到了 GitHub 上去了,自己也写了一些源码的中文注释,并且 push 到了 GitHub 上去了。这几天阿里开源了宣传已久的 Blink,结果我那个分支不能够继续 pu...原创 2019-04-08 13:09:36 · 744 阅读 · 0 评论 -
大数据“重磅炸弹”——实时计算框架 Flink
Flink 学习github 地址:https://github.com/zhisheng17/flink-learningflink 学习博客:http://www.54tianzhisheng.cn/tags/Flink/项目结构├── README.md├── flink-learning-cep├── flink-learning-common├── flink-learni...原创 2019-04-03 23:03:30 · 670 阅读 · 2 评论 -
阿里巴巴开源的 Blink 实时计算框架真香
本文原创地址是: http://www.54tianzhisheng.cn/2019/02/28/blink/ , 未经允许禁止转载。Blink 开源了有一段时间了,竟然没发现有人写相关的博客,其实我已经在我的知识星球里开始写了,今天来看看 Blink 为什么香?我们先看看 Blink 黑色版本:对比下 Flink 版本你就知道黑色版本多好看了。你上传 jar 包的时候是这样的:...原创 2019-03-03 11:38:06 · 660 阅读 · 2 评论 -
《从0到1学习Flink》—— Flink 读取 Kafka 数据批量写入到 MySQL
本文原创地址是: http://www.54tianzhisheng.cn/2019/01/15/Flink-MySQL-sink/ , 未经允许禁止转载。前言之前其实在 《从0到1学习Flink》—— 如何自定义 Data Sink ? 文章中其实已经写了点将数据写入到 MySQL,但是一些配置化的东西当时是写死的,不能够通用,最近知识星球里有朋友叫我: 写个从 kafka 中读取数据,...原创 2019-03-03 11:37:00 · 2212 阅读 · 0 评论 -
《从0到1学习Flink》—— Flink parallelism 和 Slot 介绍
转载请务必注明原创地址为:http://www.54tianzhisheng.cn/2019/01/14/Flink-parallelism-slot/ , 未经允许禁止转载。前言之所以写这个是因为前段时间自己的项目出现过这样的一个问题:Caused by: akka.pattern.AskTimeoutException: Ask timed out on [Actor[akka:/...原创 2019-03-03 11:35:23 · 1918 阅读 · 0 评论 -
《从0到1学习Flink》—— Flink JobManager 高可用性配置
转载请务必注明原创地址为:http://www.54tianzhisheng.cn/2019/01/13/Flink-JobManager-High-availability/ , 未经允许禁止转载。前言之前在 《从0到1学习Flink》—— Flink 配置文件详解 讲过 Flink 的配置,但是后面陆续有人来问我一些配置相关的东西,在加上我现在对 Flink 也更熟悉了些,这里我就再写...原创 2019-03-03 11:34:02 · 609 阅读 · 0 评论 -
《从0到1学习Flink》—— Flink 写入数据到 Kafka
Github 代码仓库https://github.com/zhisheng17/flink-learning/以后这个项目的所有代码都将放在这个仓库里,包含了自己学习 flink 的一些 demo 和博客相关文章1、《从0到1学习Flink》—— Apache Flink 介绍2、《从0到1学习Flink》—— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门3、《...原创 2019-01-10 23:45:31 · 884 阅读 · 0 评论 -
《从0到1学习Flink》—— Apache Flink 介绍
前言Flink 是一种流式计算框架,为什么我会接触到 Flink 呢?因为我目前在负责的是监控平台的告警部分,负责采集到的监控数据会直接往 kafka 里塞,然后告警这边需要从 kafka topic 里面实时读取到监控数据,并将读取到的监控数据做一些 聚合/转换/计算 等操作,然后将计算后的结果与告警规则的阈值进行比较,然后做出相应的告警措施(钉钉群、邮件、短信、电话等)。画了个简单的图如...原创 2018-11-04 21:22:27 · 1422 阅读 · 5 评论