flink
文章平均质量分 95
flink学习之路详解
LJiaWang
这个作者很懒,什么都没留下…
展开
-
Flink State 和 Fault Tolerance详解
var vs : XxxState = _ //状态声明 override def open(parameters : Configuration) : Unit = {val xxd = new XxxStateDescription //完成状态的初始化 vs = getRuntimeContext . getXxxState(xxd) } override def xxx(value : Xx) : Xxx = {//状态操作 } }原创 2023-08-02 18:10:08 · 994 阅读 · 0 评论 -
Flink DataStream API详解
如果使用SimpleStringSchema,仅仅能获取value,如果用户希望获取更多信息,比如 key/value/partition/offset ,用户可以通过继承KafkaDeserializationSchema类自定义反序列化对象。它根据给定的FileInputFormat读取指定路径下的文件,可以根据watchType定期检测指定路径下的文件,其中watchType的可选值为。,表示一旦文件内容发生改变,整个文件内容会被重复处理。的语义处理,如果是在生产环境下,推荐使用。原创 2023-08-02 18:03:22 · 928 阅读 · 0 评论 -
Apache Flink概述
例如具有3个Task Slot的TaskManager,则每个Task Slot表示占用当前TaskManager进程1/3的内存,每个Job在启动时都有自己的Task Slot,数目固定,这样通过Task Slot的划分就可以避免不同Job的SubTask之间竞争内存资源,以下表示一个Job获取6个Task Slot,但是仅仅只有5个线程,3个Task。),一个Flink计算任务通常会被拆分成若干个Task(阶段),每一个Task都有自己的并行度,每一个并行度表示一个线程(SubTask)。原创 2023-08-02 17:59:17 · 829 阅读 · 0 评论 -
Flink Windows(窗口)详解
Windows是流计算的核心。Windows将流分成有限大小的“buckets”,我们可以在其上应用聚合计算(或)等。原创 2023-08-02 18:17:09 · 1181 阅读 · 0 评论