从0到1学习Flink
文章平均质量分 96
Flink 从不会到会,并且最后对源码对解析
zhisheng_blog
这个作者很懒,什么都没留下…
展开
-
如何收集 Yarn/K8s 集群中的 Flink 任务日志?
背景不管是 Flink On Yarn 还是 On k8s,如果任务正常运行,我们是可以通过 Flink Web UI 去查看 JobManager 和 TaskManager 日志,虽然日志量大的时候去不同的 TaskManager 找日志有点困难(如何快速知道日志在哪个 TaskManager 上;在 TaskManager 里面可能有多个滚动的日志文件,如何快速找到 root cause 异常;如果 TaskManager OOM 掉了该容器的日志就看不到了),但是起码给了一个可以看日志的途径。熟原创 2023-03-24 14:26:26 · 735 阅读 · 1 评论 -
《Flink 源码解析》—— 源码编译运行
更新一篇知识星球里面的源码分析文章,去年写的,周末自己录了个视频,大家看下效果好吗?如果好的话,后面补录发在知识星球里面的其他源码解析文章。前言之前自己本地 clone 了 Flink 的源码,编译过,然后 share 到了 GitHub 上去了,自己也写了一些源码的中文注释,并且 push 到了 GitHub 上去了。这几天阿里开源了宣传已久的 Blink,结果我那个分支不能够继续 pu...原创 2019-04-08 13:09:36 · 744 阅读 · 0 评论 -
大数据“重磅炸弹”——实时计算框架 Flink
Flink 学习github 地址:https://github.com/zhisheng17/flink-learningflink 学习博客:http://www.54tianzhisheng.cn/tags/Flink/项目结构├── README.md├── flink-learning-cep├── flink-learning-common├── flink-learni...原创 2019-04-03 23:03:30 · 670 阅读 · 2 评论 -
阿里巴巴开源的 Blink 实时计算框架真香
本文原创地址是: http://www.54tianzhisheng.cn/2019/02/28/blink/ , 未经允许禁止转载。Blink 开源了有一段时间了,竟然没发现有人写相关的博客,其实我已经在我的知识星球里开始写了,今天来看看 Blink 为什么香?我们先看看 Blink 黑色版本:对比下 Flink 版本你就知道黑色版本多好看了。你上传 jar 包的时候是这样的:...原创 2019-03-03 11:38:06 · 660 阅读 · 2 评论 -
《从0到1学习Flink》—— Flink 读取 Kafka 数据批量写入到 MySQL
本文原创地址是: http://www.54tianzhisheng.cn/2019/01/15/Flink-MySQL-sink/ , 未经允许禁止转载。前言之前其实在 《从0到1学习Flink》—— 如何自定义 Data Sink ? 文章中其实已经写了点将数据写入到 MySQL,但是一些配置化的东西当时是写死的,不能够通用,最近知识星球里有朋友叫我: 写个从 kafka 中读取数据,...原创 2019-03-03 11:37:00 · 2210 阅读 · 0 评论 -
《从0到1学习Flink》—— Flink parallelism 和 Slot 介绍
转载请务必注明原创地址为:http://www.54tianzhisheng.cn/2019/01/14/Flink-parallelism-slot/ , 未经允许禁止转载。前言之所以写这个是因为前段时间自己的项目出现过这样的一个问题:Caused by: akka.pattern.AskTimeoutException: Ask timed out on [Actor[akka:/...原创 2019-03-03 11:35:23 · 1917 阅读 · 0 评论 -
《从0到1学习Flink》—— Flink JobManager 高可用性配置
转载请务必注明原创地址为:http://www.54tianzhisheng.cn/2019/01/13/Flink-JobManager-High-availability/ , 未经允许禁止转载。前言之前在 《从0到1学习Flink》—— Flink 配置文件详解 讲过 Flink 的配置,但是后面陆续有人来问我一些配置相关的东西,在加上我现在对 Flink 也更熟悉了些,这里我就再写...原创 2019-03-03 11:34:02 · 608 阅读 · 0 评论 -
《从0到1学习Flink》—— 如何自定义 Data Sink ?
前言前篇文章 《从0到1学习Flink》—— Data Sink 介绍 介绍了 Flink Data Sink,也介绍了 Flink 自带的 Sink,那么如何自定义自己的 Sink 呢?这篇文章将写一个 demo 教大家将从 Kafka Source 的数据 Sink 到 MySQL 中去。准备工作我们先来看下 Flink 从 Kafka topic 中获取数据的 demo,首先你需要...原创 2018-11-04 21:29:13 · 1206 阅读 · 0 评论 -
《从0到1学习Flink》—— 如何自定义 Data Source ?
前言在 《从0到1学习Flink》—— Data Source 介绍 文章中,我给大家介绍了 Flink Data Source 以及简短的介绍了一下自定义 Data Source,这篇文章更详细的介绍下,并写一个 demo 出来让大家理解。Flink Kafka source准备工作我们先来看下 Flink 从 Kafka topic 中获取数据的 demo,首先你需要安装好了 FL...原创 2018-11-04 21:28:27 · 414 阅读 · 0 评论 -
《从0到1学习Flink》—— Data Sink 介绍
前言再上一篇文章中 《从0到1学习Flink》—— Data Source 介绍 讲解了 Flink Data Source ,那么这里就来讲讲 Flink Data Sink 吧。首先 Sink 的意思是:大概可以猜到了吧!Data sink 有点把数据存储下来(落库)的意思。如上图,Source 就是数据的来源,中间的 Compute 其实就是 Flink 干的事情,可以做一系...原创 2018-11-04 21:27:31 · 757 阅读 · 0 评论 -
《从0到1学习Flink》—— Data Source 介绍
前言Data Sources 是什么呢?就字面意思其实就可以知道:数据来源。Flink 做为一款流式计算框架,它可用来做批处理,即处理静态的数据集、历史的数据集;也可以用来做流处理,即实时的处理些实时数据流,实时的产生数据流结果,只要数据源源不断的过来,Flink 就能够一直计算下去,这个 Data Sources 就是数据的来源地。Flink 中你可以使用 StreamExecutio...原创 2018-11-04 21:26:29 · 659 阅读 · 2 评论 -
《从0到1学习Flink》—— Flink 配置文件详解
前面文章我们已经知道 Flink 是什么东西了,安装好 Flink 后,我们再来看下安装路径下的配置文件吧。安装目录下主要有 flink-conf.yaml 配置、日志的配置文件、zk 配置、Flink SQL Client 配置。flink-conf.yaml基础配置# jobManager 的IP地址jobmanager.rpc.address: localhost# Jo...原创 2018-11-04 21:25:23 · 3649 阅读 · 1 评论 -
《从0到1学习Flink》—— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门
准备工作1、安装查看 Java 的版本号,推荐使用 Java 8。安装 Flink2、在 Mac OS X 上安装 Flink 是非常方便的。推荐通过 homebrew 来安装。brew install apache-flink3、检查安装:flink --version结果:Version: 1.6.0, Commit ID: ff472b44、启动 flinkzh...原创 2018-11-04 21:24:08 · 791 阅读 · 0 评论 -
《从0到1学习Flink》—— Apache Flink 介绍
前言Flink 是一种流式计算框架,为什么我会接触到 Flink 呢?因为我目前在负责的是监控平台的告警部分,负责采集到的监控数据会直接往 kafka 里塞,然后告警这边需要从 kafka topic 里面实时读取到监控数据,并将读取到的监控数据做一些 聚合/转换/计算 等操作,然后将计算后的结果与告警规则的阈值进行比较,然后做出相应的告警措施(钉钉群、邮件、短信、电话等)。画了个简单的图如...原创 2018-11-04 21:22:27 · 1418 阅读 · 5 评论 -
《从0到1学习Flink》—— Flink 项目如何运行?
Github 代码仓库https://github.com/zhisheng17/flink-learning/以后这个项目的所有代码都将放在这个仓库里,包含了自己学习 flink 的一些 demo 和博客相关文章1、《从0到1学习Flink》—— Apache Flink 介绍2、《从0到1学习Flink》—— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门3、《...原创 2019-01-10 23:43:38 · 360 阅读 · 0 评论 -
《从0到1学习Flink》—— Flink 写入数据到 ElasticSearch
Github 代码仓库https://github.com/zhisheng17/flink-learning/以后这个项目的所有代码都将放在这个仓库里,包含了自己学习 flink 的一些 demo 和博客相关文章1、《从0到1学习Flink》—— Apache Flink 介绍2、《从0到1学习Flink》—— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门3、《...原创 2019-01-10 23:42:17 · 1421 阅读 · 1 评论 -
《从0到1学习Flink》—— Flink 中几种 Time 详解
Github 代码仓库https://github.com/zhisheng17/flink-learning/以后这个项目的所有代码都将放在这个仓库里,包含了自己学习 flink 的一些 demo 和博客相关文章1、《从0到1学习Flink》—— Apache Flink 介绍2、《从0到1学习Flink》—— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门3、《...原创 2019-01-10 23:40:55 · 455 阅读 · 0 评论 -
《从0到1学习Flink》—— 介绍Flink中的Stream Windows
Github 代码仓库https://github.com/zhisheng17/flink-learning/以后这个项目的所有代码都将放在这个仓库里,包含了自己学习 flink 的一些 demo 和博客相关文章1、《从0到1学习Flink》—— Apache Flink 介绍2、《从0到1学习Flink》—— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门3、《...原创 2019-01-10 23:39:26 · 394 阅读 · 0 评论 -
《从0到1学习Flink》—— Flink Data transformation(转换)
前言在第一篇介绍 Flink 的文章 《《从0到1学习Flink》—— Apache Flink 介绍》 中就说过 Flink 程序的结构Flink 应用程序结构就是如上图所示:1、Source: 数据源,Flink 在流处理和批处理上的 source 大概有 4 类:基于本地集合的 source、基于文件的 source、基于网络套接字的 source、自定义的 source。自定义...原创 2018-12-02 20:47:06 · 544 阅读 · 0 评论 -
《从0到1学习Flink》—— Flink 写入数据到 Kafka
Github 代码仓库https://github.com/zhisheng17/flink-learning/以后这个项目的所有代码都将放在这个仓库里,包含了自己学习 flink 的一些 demo 和博客相关文章1、《从0到1学习Flink》—— Apache Flink 介绍2、《从0到1学习Flink》—— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门3、《...原创 2019-01-10 23:45:31 · 882 阅读 · 0 评论