- 博客(8)
- 收藏
- 关注
RSS订阅原创 flinksql的双流join，窗口topn中遇到的问题。
针对于流数据进行求topn或者去重，如果不指定窗口，用传统的批处理方式则无法实现topn或者去重的目的，会发现每条流数据都是top1。只有通过窗口的方式将数据进行收集才能针对于窗口内的数据进行去重或者求topn。则会出现：当A流数据过来时，会和B流所有历史数据以及当前数据进行join。flinksql进行双流join时，如果不指定时间范围，如下图所示。如果指定时间范围，则只会和时间范围内的数据进行join。
2024-09-07 17:51:27
294
1
原创 flink自定义udf函数和udtf函数,注册,引用以及对应的依赖
再引用: gethttps_function(`a1`.`graphic_details`)// 正则表达式匹配 src 属性中的 URL。-- Table的公共依赖 -->
2024-07-31 19:08:39
305
原创 doris或者startRocks的建表规范
表示以今天为时间基准，创建且保留多少天的历史分区数，为负数。表示以今天为时间基准，创建且保留多少天的未来分区数，为正数。因此上图的总分区就是90+60=150个分区。
2024-02-26 17:14:19
499
原创 flinksql去消费kafka的数据，当不使用窗口机制，有数据输出，当使用窗口机制，就没有数据输出，怎么办？
如上图，当不使用窗口时，flinksql就可以输出数据，控制台可以看出。如上图，当使用窗口机制后，flinksql一直没有数据输出，将。update_time设置为timestamp(3)
2023-11-08 14:05:05
249
3
原创 当binlog日志数据无法拉取时，怎么办
其中binlog_row_image包含：FULL，MINIMAL和noblob三种模式，FULL模式为binlog日志记录下所有的前镜像和后镜像，MINIMAL模式为binlog日志的前镜像，其只记录唯一识别列(例如唯一索引列、主键列)，后镜像只记录修改列，noblob为binlog记录所有的列，就像full格式一样。binlog有statement , row 和mixed这三种格式，其中binlog_format=STATEMENT，为记录原始的语句，但是会造成主从数据不一致的问题。
2023-11-07 14:49:15
67
原创 当startRocks出现/data/starrocks/be/storage/data/目录下的.dat文件消失时，怎么办？
此时将对应的表删除后重建，观察是否可以插入，如果还是不行，就重新启动startRocks集群。
2023-11-07 13:41:45
152
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人