Flink
静远小和尚
这个作者很懒,什么都没留下…
展开
-
Flink流处理API——State API (状态管理、状态编程)
原文链接;https://www.toutiao.com/i6860816918333358595/本文主要从以下几个方面介绍Flink流处理API——State API (状态管理)一、 状态管理 Flink中的状态 A. 算子状态: B. 键控状态(Keyed State)-- 更常用 C. 状态后端(State Backends) -- 状态管理(存储、访问、维护和检查点) 二、 状态编程版本:scala:2.11.12Kafka:0.8.2.2原创 2020-08-14 20:40:51 · 1457 阅读 · 1 评论 -
Flink流处理API——ProcessFunction API (底层API)
原文链接:https://www.toutiao.com/i6860721527952769539/本文主要从以下几个方面介绍Flink流处理API——ProcessFunction API (底层API)一、产生背景二、KeyeProcesFunction三、TimerService和定时器(Timers)四、侧输出流(SideOutPut)五、CoProcessFunction版本:scala:2.11.12Kafka:0.8.2.2Flink:1.7.2.原创 2020-08-14 20:39:20 · 700 阅读 · 0 评论 -
Flink流处理API——window(窗口) API详解
原文链接:https://www.toutiao.com/i6859649771255104012/本文主要从以下几个方面介绍Flink流处理API——window(窗口) API一、window概念二、window类型三、windowAPI 的Demo四、时间语义五、设置事件创建时间(Event Time)六、水位线(Watermark)七、watermark的API版本:scala:2.11.12Kafka:0.8.2.2Flink:1.7.2pom.原创 2020-08-11 17:17:07 · 925 阅读 · 0 评论 -
Flink流处理API——Sink
原文链接:https://www.toutiao.com/i6859235904779715076/本文主要从以下几个方面介绍Flink的流处理API——Sink一、输出到Kafka二、输出到Redis三、输出到MySQL数据处理的过程基本可以分为三个阶段分别是,数据从来哪里,做什么业务逻辑,落地到哪里去。这三部分在Flink中分别被称为Source、Transform和Sink其中Source部分可以参考这篇:Flink流处理API——SourceFlink 没有类似于 s原创 2020-08-11 14:52:28 · 852 阅读 · 0 评论 -
Flink流处理API——Transform(转换算子)
原文链接:https://www.toutiao.com/i6859612664646238724/本文主要从以下几个方面介绍Flink的流处理API——Transform一、map二、flatmap三、Filter四、KeyBy五、滚动聚合算子(Rolling Aggregation)六、Reduce七、Split和Select八、Connect和CoMap九、Union数据处理的过程基本可以分为三个阶段分别是,数据从来哪里,做什么业务逻辑,落地到哪里去。这原创 2020-08-11 14:49:57 · 729 阅读 · 1 评论 -
Flink流处理API——Source
原文链接:https://www.toutiao.com/i6859232281211437581/本文主要从以下几个方面介绍Flink的流处理API——Source一、从集合中读取数据二、从文件中读取数据三、从Kafka中读取数据四、自定义Source数据处理的过程基本可以分为三个阶段分别是,数据从来哪里,做什么业务逻辑,落地到哪里去。这三部分在Flink中分别被称为Source、Transform和Sink版本:scala:2.11.12Kafka:0.8.2.2原创 2020-08-10 14:26:01 · 461 阅读 · 1 评论 -
Flink从Kafka0.8中读取数据报Failed to instantiate SLF4J LoggerFactory Reported exception 错误
Flink从KAFKA中读取数据报以下错误:Failed to instantiate SLF4J LoggerFactoryReported exception:java.lang.NoClassDefFoundError: org/apache/log4j/LevelFlink版本:1.7.2KAFKA版本:0.8.2.2代码:package xxximport java.util.Propertiesimport org.apache.flink.api.com.原创 2020-08-09 15:27:53 · 613 阅读 · 0 评论 -
Flink原理——任务调度原理
原文链接:https://mp.toutiao.com/profile_v4/graphic/preview?pgc_id=6857894528381092364本文主要从以下几个方面介绍Flink的任务调度原理一、Flink运行时的组件二、TaskManger与Slots三、程序与数据流四、Flink的执行图五、Flink程序执行的并行度六、Flink程序任务链一、Flink运行时的组件Flink的运行组件Flink 运行时架构主要包括四个不同的组件,它们会在运原创 2020-08-06 23:36:31 · 3026 阅读 · 0 评论
分享