Flink
wongyiming
这个作者很懒,什么都没留下…
展开
-
Flink11_Stream_ProjectConfiguration
Project Configuration每个Flink应用都依赖一堆的FlinkLibraries, 下面就介绍Flink应用一般都使用什么lib1. Flink Core and Application Dependencies:用户应用一般有两个大类的依赖:Flink Core Dependencies: Flink自己的, 比如coordination, networking, checkpoints, failover, APIs, operations(比如windowing), res原创 2020-08-06 22:08:23 · 207 阅读 · 0 评论 -
Flink_Stream_SideOutputs_Doc
Side Outputs除了上个操作生成的mainStream, 我们也可以在操作里生产任意数量的侧输出流. 每个侧输出流里的类型也不用和主流一样.每个侧输出流需要定一个OutputTag来标识.提交数据给侧输出流可以通过很多function(operator), 输出到Context 里面ProcessFunctionKeyedProcessFunctionCoProcessFunctionKeyedCoProcessFunctionProcessWindowFunctionProces原创 2020-08-04 22:05:33 · 254 阅读 · 0 评论 -
Flink11_Stream_DataStream_笔记
DataSource本文描述DataSourceAPI的概念和背后的架构, 如果想了解dataSource在Flink怎么工作 或者想实现一个dataSource.1. DataSource 概念:核心Components: Splits, the SplitEnumerator, SourceReaderSplit: 是一部分数据, 比如一个文件, 或者是一个log-partition. splits是原分配工作并行数据读取的粒度.SourceReader: 是用来读Splits的, 读spl原创 2020-08-04 00:11:57 · 356 阅读 · 0 评论 -
【Flink公开课笔记-Felix】Flink Runtime
Flink RuntimeFlink 运行时架构Client: 提交JobJobManager:TaskManager:角色间通讯(Akka):数据的传输(Netty):1. Slot 分配与共享每个Task ManagerOperatorChain:每个task里面有1或者n个operator, 多个operator的时候就会购成operatorChain. 组...原创 2020-04-12 16:46:07 · 304 阅读 · 0 评论