- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 flink sql checkpoint的设置
- 显式设置，确保覆盖默认值。'properties.auto.offset.reset' = 'earliest' -- 后备策略。：可能默认启用 Checkpoint（如间隔 30 秒），并配置持久化存储（如 HDFS/S3）。：StreamPark 的管理员可能设置了集群级或环境级的默认 Checkpoint 参数。，依赖 Kafka 自身的偏移量提交（但这不是 Flink Checkpoint）。模板），模板中可能预定义了 Checkpoint 配置。（默认），重启后从最新偏移量开始，
2025-07-28 15:50:51
1194
原创 doris sql 优化
以上代码中的字段tag_value_array的值的格式是['a','b','c'.....]，使用到json 的解析函数会很慢，推荐使用替换函数，把 [，]，双引号替换成空，再用explode_split，如下图所示。1.尽量少用结构字符串的函数，比如parse_url，explode_json_array_string等等。2.join小表的条件有or的情况下建议join多次小表。$ptmcTable 是小表，可以改成。3.根据业务提前缩小结果集。
2025-03-19 17:10:42
386
原创 spark-streaming从kafka读数据写入doris出现OOM的问题
原因是sparkConf的时候忘记写几个配置。scala版本 2.11.8。spark版本 2.1.0。
2023-09-27 14:35:32
419
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人