![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
文章平均质量分 95
喜讯XiCent
这个作者很懒,什么都没留下…
展开
-
Flink-1.12.0 CEP详解与实战
什么是CEPCEP(Complex Event Processing),复杂事件处理,一个或多个由简单事件构成的事件流通过一定的规则匹配,然后输出用户想得到的数据,满足规则的复杂事件。Flink CEP简介Flink CEP是在flink中实现的复杂事件处理库,也就是说搭配Flink实时处理的能力,FLink CEP能够在流处理的场景去做一些实时的复杂事件匹配,特点是能够作用于一个无限的数据流上,这就意味着它可以将某种规则的数据匹配一只保持下去;举个例子:下图中原始流包含了各种形状的图形,并且是杂原创 2021-02-19 14:02:24 · 1637 阅读 · 3 评论 -
Flink1.12-Flink Client集成Hive快速入门
Hive已经成为数据仓库生态系统中的核心。它不仅仅是一个用于大数据分析和ETL场景的SQL引擎,同样也是一个数据管理平台,一些被大家广泛使用大数据处理引擎都声称对Hive有着很好的兼容性。而Flink从1.9开始支持Hive,只不过是beta版,不推荐在生产环境中使用。在Flink1.10版本中,标志着对Blink的整合宣告完成,对Hive的集成也达到了生产级别的要求。本文以目前最新的Flink1.12.1为例,阐述Flink集成Hive的简单过程。HiveCatalog多年来,Hive Metas.原创 2021-01-31 23:51:22 · 1081 阅读 · 2 评论 -
flink-1.11-Standalone模式启动源码解读之Master启动
前面我们分析了Standalone模式下执行start-cluster.sh脚本后的一系列脚本执行流程,最后一步是执行flink-daemon.sh脚本,在该脚本中会执行对应的java类,其中JobManager对应的类是StandaloneSessionClusterEntrypoint,下面我们就跟着源码看看Standalone session模式下Master是如何启动的。首先看下main方法的代码从main我们大概可以看出启动的一个大概流程。首先是获取环境配置与用户的特定配置,然后将配置加.原创 2020-08-30 17:19:10 · 628 阅读 · 0 评论 -
flink-1.11-StandaloneSession模式源码解读之脚本启动流程
还记得刚接触Flink的时候,就是简简单单的配置了几个配置文件然后执行start-cluster.sh脚本集群就起来了。接着打开flink web页面上传我们要执行jar包。当初这一切看起来是多么简单,其实底层确蕴含着很多的逻辑,今天我们就从start-cluster.sh脚本开始,一探究竟。start-cluster.sh我们先来看看start-cluster.sh这个脚本bin=`dirname "$0"`bin=`cd "$bin"; pwd`# 先调用config.sh读取配置原创 2020-07-15 22:34:12 · 1064 阅读 · 0 评论