flink
文章平均质量分 65
路过倾蜓
这个作者很懒,什么都没留下…
展开
-
flink学习笔记【12】Table api和sql——表的概念、环境、创建、查询
文章目录一、table api1.1 快速上手1.2 表处理 程序架构1.3 表环境1.4 建表1.5 表的查询&输出一、table api基于table的数据类型进行数据转换底层api——> ds核心api——>table api——>sql1.1 快速上手pojo类package com.shinho.chapter11_sql;import java.sql.Timestamp;public class Events { public String原创 2022-05-05 22:25:00 · 436 阅读 · 0 评论 -
【flink学习笔记】【11】算子状态
文章目录1 分类2.应用场景3. 广播状态不考虑key,只针对当前算子并行任务有效,不需要考虑key的隔离。不同的key只要被分发到同一个并行子任务,就会访问同一个operator state。1 分类列表状态 listState每个并行子任务只会保留一个列表,也就是当前并行子任务上所有状态项的集合,状态项是可以重新分配的最细粒度,彼此完全独立。如果并行度调整了,列表状态中的元素项被统一收集起来,相当于多个分区的列表合成大列表,再均匀分配所有并行任务联合列表状态 UnionListState原创 2022-04-19 23:19:16 · 1878 阅读 · 0 评论 -
【flink学习笔记】【10】按键分区状态
3. 值状态4.列表状态5.映射状态6.聚合状态7.状态生存时间TTL原创 2022-04-18 22:04:56 · 1653 阅读 · 0 评论 -
【flink学习笔记】【9】状态编程-定义
文章目录1.状态定义1.1 有状态算子1.2 状态管理1.3状态分类2. 算子状态&按键分区状态2.1 算子状态2.2 按键分区状态(最常见)2.2.3 结构类型分布式集群,分布式状态如何处理。1.状态定义每个任务进行中,可以只依赖当前的数据;但也可以依赖已经到来的数据(聚合操作),需要将已经到来的数据保存下来。这些用来计算输出结果的所有数据,或者由它们计算出的某个结果,叫做这个任务的状态。例如先下单,后支付事件模式。1.1 有状态算子无状态算子:比如map,flatmap,filter只原创 2022-04-13 23:23:00 · 1483 阅读 · 0 评论 -
【flink学习笔记】【8】多流转换-分流、合流、连接流
合流、分流、连接流原创 2022-04-10 23:28:44 · 895 阅读 · 0 评论 -
【flink学习笔记】【6】Sink 输出算子
sink多种链接原创 2022-03-30 07:54:41 · 2643 阅读 · 0 评论 -
【flink学习笔记】【5】转换算子Transform
transform+物理分区原创 2022-03-28 23:07:04 · 2218 阅读 · 0 评论 -
【flink学习笔记】系统架构
文章目录1.作业管理器 jobmanagerjobmasterresoucemanagerdispatcher(不必要)2.task manager3.作业提交流程4.算子链5. 并行度6.执行图7.任务&任务槽8.思考8.1 flink程序如何得到job8.2 流处理程序包含多少job8.3 执行job需要多少slot9.任务调度1.作业管理器 jobmanagerjobmaster1.作业提交时,接收要执行的应用:jar包、数据流图、作业图2. jobmaster把作业图转换成为物理层面原创 2022-03-26 23:57:09 · 285 阅读 · 0 评论 -
【flink学习笔记】【4】Datastream API-源算子
执行环境source的五种方式kafka环境搭建flink支持数据类型原创 2022-03-26 23:53:27 · 240 阅读 · 0 评论 -
【flink学习笔记】【3】集群模式-环境部署
文章目录一、环境配置二、安装flink三、向集群提交作业报错处理finishConnect(..) failed: No route to host四、终端提交任务五、部署模式5.1 独立模式standalone5.2 yarn模式一、环境配置centos7.5java8hadoopssh、关闭防火墙node00、node01、node02二、安装flinkhttps://www.apache.org/dyn/closer.lua/flink/flink-1.13.6/flink-1.1原创 2022-03-22 23:26:43 · 2689 阅读 · 0 评论 -
【flink学习笔记】【2】本地模式-流处理wordcount
文章目录一、有界流wordcount一、无界流wordcount一、有界流wordcountpackage com.shinho.wc;import org.apache.flink.api.common.typeinfo.Types;import org.apache.flink.api.java.tuple.Tuple;import org.apache.flink.api.java.tuple.Tuple2;import org.apache.flink.streaming.api.da原创 2022-03-22 20:57:26 · 2685 阅读 · 0 评论