flink笔记
文章平均质量分 59
flink学习
嘟嘟du噜
这个作者很懒,什么都没留下…
展开
-
flink05 并行度与事件时间
1、在代码中设置:env.setParallelism(并行度数量) (优先级高,会将代码并行度定死)3、在配置文件中统一设置4、每一个算子可以单独设置并行度。原创 2024-05-30 23:05:33 · 941 阅读 · 0 评论 -
flink02: source 例子总结
使用方法:addSource()方法,括号内new一个自定义Source类(该类实现SourceFunction接口)自定义Source类:类的泛型与读取数据类型保持一致/*** 自定义source* 实现SourceFunction接口,实现接口中的run方法*//*** flink启动的时候会执行一次,再run方法中读取外部的数据,将数据发送到下游*/@Override//将数据发送到下游//cancel方法再任务取消的时候执行,一般用于回收资源@Override。原创 2024-05-29 15:37:07 · 248 阅读 · 0 评论 -
flink03 sink学习总结
/定义file sink//指定数据的格式//指定滚动策略//包含了至少10秒的数据量//从没接收延时10秒之外的新纪录(间隔了10s未出现新的记录生成新的文件)//文件大小已经达到 1MB(写入最后一条记录之后).build()).build();注意:泛型与读取数据泛型保持一致滚动策略只在流处理下编写,批处理无滚动策略(3)使用file sink//使用file sink方法与自定义source类似@Override//自定义数据sink位置。原创 2024-05-29 17:39:04 · 152 阅读 · 0 评论 -
flink04 架构图解与flink集群搭建
2、代码地main函数在本地启动,在本地构建dataflow,再将dataflow提交给jobmanager,如果代码报错在本地可以看到部分错误日志。1、将任务提交到yarn上运行,yarn会为每一个flink地任务启动一个jobmanager和一个或者多个taskmanasger。1、将任务提交到yarn上运行,yarn会为每一个flink地任务启动一个jobmanager和一个或者多个taskmanasger。1、先再yarn中启动一个jobmanager, 不启动taskmanager。原创 2024-05-30 19:15:43 · 238 阅读 · 0 评论