Flink
炼数成器
bystudying com
展开
-
cdh制作flink1.13.2的parcel包
基础环境jdk1.8mavenpython2git使用parcel制作工具制作下载制作工具:git clone https://github.com/pkeropen/flink-parcel.git完成后会在当前目录生成一个flink-parcel的文件,证明下载成功修改配置文件cd flink-parcevim flink-parcel.properties修改内容:#FLINK 下载地址FLINK_URL=https://dlcdn.apache.org/flink/f原创 2021-09-22 13:25:42 · 2195 阅读 · 0 评论 -
Flink的三种时间语义与Exactly-Once的保证
Event Time:是事件创建的时间。它通常由事件中的时间戳描述,例如采集的日志数据中,每一条日志都会记录自己的生成时间,Flink通过时间戳分配器访问事件时间戳。Ingestion Time:是数据进入Flink的时间。Processing Time:是每一个执行基于时间操作的算子的本地系统时间,与机器相关,默认的时间属性就是Processing Time。下级存储支持事务:Flink...原创 2020-03-21 22:24:00 · 1236 阅读 · 0 评论 -
Flink设置并行度的方式和执行级别顺序
Flink设置并行度的几种方式1.代码中设置setParallelism() 全局设置:env.setParallelism(3); 算子设置(部分设置):sum(1).setParallelism(3)2.客户端CLI设置(或webui直接输入数量):./bin/flink run -p 33.配置文件设置: 修改配置文件设置/conf/flink-co...原创 2020-03-18 11:01:00 · 2196 阅读 · 0 评论
分享