大数据
lixia0417mul2
避免成为那些从来没有接触过真正技术的所谓技术生涯
展开
-
用户画像实时标签数据处理流程图
实时标签处理原创 2024-08-17 19:43:27 · 233 阅读 · 0 评论 -
hive sql实现查找商品表名称中包含敏感词的商品
hive sql实现查找商品表名称中包含敏感词的商品原创 2024-03-20 21:05:05 · 413 阅读 · 0 评论 -
hive数组函数实现查找两个活动下不同小时的购买用户的差值
hive 集合函数slice原创 2024-03-17 11:47:49 · 343 阅读 · 0 评论 -
使用hive数组函数查找哪些用户在不同的时间点购买了同样的商品
hive的集合函数用法原创 2024-03-14 22:53:42 · 428 阅读 · 0 评论 -
GlobalWindow和Evictor的常用组合使用
Evictor和Trigger的使用原创 2023-11-24 21:11:12 · 380 阅读 · 0 评论 -
flink的java.lang.IllegalStateException: Buffer pool is destroyed 异常
Buffer pool is destroyed 异常原创 2023-11-23 20:06:55 · 1055 阅读 · 0 评论 -
flink的异常concurrent.TimeoutException: Heartbeat of TaskManager with id的解决
flink本地集成测试错误原创 2023-11-23 09:53:55 · 1855 阅读 · 0 评论 -
flink的集成测试
flink集成测试原创 2023-11-23 09:49:01 · 652 阅读 · 0 评论 -
Rockdb简介
rockdb简介原创 2023-11-17 21:24:59 · 360 阅读 · 0 评论 -
flink的window和windowAll的区别
window 和windowAll的区别原创 2023-11-17 21:23:38 · 1437 阅读 · 0 评论 -
flink中配置Rockdb的重要配置项
rockdb原理原创 2023-11-17 21:22:15 · 1109 阅读 · 0 评论 -
flink对状态ttl进行单元测试
测试flink的ttl状态原创 2023-11-13 22:02:34 · 1030 阅读 · 0 评论 -
flink测试map转换函数和process函数
flink单元测试原创 2023-11-08 22:54:18 · 1037 阅读 · 0 评论 -
flink的KeyedBroadcastProcessFunction测试
flink的KeyedBroadcastProcessFunction状态测试原创 2023-11-08 22:36:22 · 700 阅读 · 0 评论 -
flink的带状态的RichFlatMapFunction函数使用
RichFlatMapFunction使用原创 2023-11-08 22:31:47 · 863 阅读 · 0 评论 -
flink的AggregateFunction,merge方法作用范围
AggregateFunction.merge的使用原创 2023-11-07 22:00:35 · 677 阅读 · 0 评论 -
flink的CoProcessFunction使用示例
CoProcessFunction的常见用法原创 2023-11-07 21:58:01 · 573 阅读 · 0 评论 -
flink job同时使用BroadcastProcessFunction和KeyedBroadcastProcessFunction例子
广播状态使用示例原创 2023-11-02 21:38:46 · 947 阅读 · 2 评论 -
flink状态不能跨算子
flink状态的作用域原创 2023-11-02 21:31:25 · 195 阅读 · 0 评论 -
flink常用的几种调优手段的优缺点
flink优化手段原创 2023-10-30 21:49:54 · 409 阅读 · 0 评论 -
flink 反压原理
参考:https://www.alibabacloud.com/blog/analysis-of-network-flow-control-and-back-pressure-flink-advanced-tutorials_596632。flink全流程pineline的反压实现其实依赖于TaskManager之间的反压和TaskManager内部的反压来实现。结合TaskManager之间的反压和TaskManager内部的反压flink就可以做到整个pineline作业的反压实现。原创 2023-10-30 21:48:54 · 230 阅读 · 0 评论 -
识别flink的反压源头
识别flink的反压源原创 2023-10-30 21:47:14 · 606 阅读 · 0 评论 -
flink的TwoPhaseCommitSinkFunction怎么做才能提供精准一次保证
TwoPhaseCommitSink如何做到精准一次输出原创 2023-10-22 12:19:14 · 1035 阅读 · 0 评论 -
flink中使用GenericWriteAheadSink的优缺点
GenericWriteAheadSink的优缺点原创 2023-10-22 02:12:04 · 629 阅读 · 0 评论 -
源码解析flink的GenericWriteAheadSink为什么做不到精确一次输出
GenericWriteAheadSink只能至少一次保证原创 2023-10-22 01:31:55 · 755 阅读 · 0 评论 -
GenericWriteAheadSink每次checkpoint后事务是否必须成功
GenericWriteAheadSink检查点成功后对应事务是否必须成功原创 2023-10-22 01:22:49 · 263 阅读 · 0 评论 -
源码解析flink文件连接源TextInputFormat
flink 文件数据源源码解析原创 2023-10-18 02:01:46 · 616 阅读 · 0 评论 -
Flink的算子列表状态的使用
算子列表状态原创 2023-10-16 21:43:25 · 409 阅读 · 0 评论 -
从Flink的Kafka消费者看算子联合列表状态的使用
flink算子联合列表状态原创 2023-10-16 01:45:14 · 1523 阅读 · 0 评论 -
Flink的基于两阶段提交协议的事务数据汇实现
flink实现事务性数据汇原创 2023-10-16 00:58:44 · 1029 阅读 · 0 评论 -
Flink如何基于事件时间消费分区数比算子并行度大的kafka主题
flink处理空闲分区原创 2023-10-15 11:58:37 · 768 阅读 · 0 评论 -
Flink kafka 数据汇不指定分区器导致的问题
kafka默认的分区器原创 2023-10-15 11:38:34 · 701 阅读 · 0 评论 -
源码解析FlinkKafkaConsumer支持周期性水位线发送
flink kafka 水位线发送原创 2023-10-14 11:10:56 · 1096 阅读 · 0 评论 -
flink中使用外部定时器实现定时刷新
flink中外部定时器实现原创 2023-10-09 21:30:54 · 1434 阅读 · 0 评论 -
flink以增量+全量的方式更新广播状态
flink广播状态支持增量+全量更新原创 2023-10-09 21:26:42 · 686 阅读 · 0 评论 -
广播状态实现注意事项
flink广播状态原创 2023-10-08 21:44:33 · 145 阅读 · 0 评论 -
flink自定义窗口分配器
窗口分配器原创 2023-10-04 13:21:28 · 1088 阅读 · 0 评论 -
周期性触发的自定义触发器
自定义触发器实现原创 2023-10-04 12:51:53 · 187 阅读 · 0 评论 -
从ContinuousEventTimeTrigger/ContinuousProcessingTimeTrigger代码看如何实现一个自定义的触发器
ContinuousProcessingTimeTrigger/ContinuousEventTimeTrigger的异同原创 2023-10-04 12:14:38 · 192 阅读 · 0 评论 -
flink的计时器
flink计时器原创 2023-10-02 12:26:08 · 961 阅读 · 0 评论