Flink
炼数成器
bystudying com
展开
-
cdh制作flink1.13.2的parcel包
基础环境 jdk1.8 maven python2 git 使用parcel制作工具制作 下载制作工具: git clone https://github.com/pkeropen/flink-parcel.git 完成后会在当前目录生成一个flink-parcel的文件,证明下载成功 修改配置文件 cd flink-parce vim flink-parcel.properties 修改内容: #FLINK 下载地址 FLINK_URL=https://dlcdn.apache.org/flink/f原创 2021-09-22 13:25:42 · 2155 阅读 · 0 评论 -
Flink的三种时间语义与Exactly-Once的保证
Event Time:是事件创建的时间。它通常由事件中的时间戳描述,例如采集的日志数据中,每一条日志都会记录自己的生成时间,Flink通过时间戳分配器访问事件时间戳。 Ingestion Time:是数据进入Flink的时间。 Processing Time:是每一个执行基于时间操作的算子的本地系统时间,与机器相关,默认的时间属性就是Processing Time。 下级存储支持事务:Flink...原创 2020-03-21 22:24:00 · 1215 阅读 · 0 评论 -
Flink设置并行度的方式和执行级别顺序
Flink设置并行度的几种方式 1.代码中设置setParallelism() 全局设置: env.setParallelism(3); 算子设置(部分设置): sum(1).setParallelism(3) 2.客户端CLI设置(或webui直接输入数量): ./bin/flink run -p 3 3.配置文件设置: 修改配置文件设置/conf/flink-co...原创 2020-03-18 11:01:00 · 2092 阅读 · 0 评论