![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
董世森 学习
守道人网络科技工作室
展开
-
Flink Runtime 杂记
Apache Flink的Runtime核心机制剖析Flink是可以运行在多种环境下的(yarn,k8s,云环境,),它可以单进程和多线程方式启动,便于我们调式代码Flink Runtime 整体架构针对不同的执行环境,Flink提供了统一的分布式作业引擎,就是Flink Runtime这层,Flink在Runtime上提供了DataSetAPI(Gelly,Table,FlinkML) 和 DataStreamAPI(CEP,Table)整体来说是采用master-slave架构master原创 2020-08-05 11:10:55 · 259 阅读 · 0 评论 -
flink杂记
Flink CEP复杂事件处理FLKINK复杂事件处理CEP ,基于流处理技术将系统数据看做不同事件,寻找不同事件的相互关系,来列出关系序列库,并利用过滤和关联和聚合等技术,最终由简单的事件产生复杂事件,使用模式规则来对重要数据进行追踪和分析, 从实时数据中挖掘隐藏的数据信息。复杂事件的用途:反欺诈,网络欺诈,设备故障检测Flink基于DataStream Api 来做 FlinkCEP组件栈在idea项目中导入maven配置org.apache.flinkflink-cep-scala_原创 2020-07-31 21:23:12 · 447 阅读 · 2 评论 -
Flink DataStream API Transformations算子应用
flink中没有 算子的划分都是transformation算子。3:transformationsaddSource keyBy[DataStream —>keyedStream]用key对数据进行重新分区reduce[keyedStream —>DataStream]只接受keyedStream类型的数据,对相同的key进行数据的独立计算Aggregationsp[keyedStream —>DataStream] 有sum算子,min,max, minBy ,maxB.原创 2020-07-18 14:29:34 · 148 阅读 · 0 评论 -
flink学习笔记
原创 2020-07-13 16:41:40 · 171 阅读 · 0 评论