qq_15138049的博客

原创 docker harbor 镜像仓库

【代码】docker harbor 镜像仓库。

原创 StarRocks StreamLoad 持续写入导致 be 内存增长

背景：Flink 消费 Kafka 通过 StreamLoad 持续写入 StarRocks，be 节点内存持续增长直至到达 be进程内存资源上限，任务中断。

原创 Data row is smaller than a column index, internal schema representation is probably out of sync with

背景： FlinkCDC 任务异常，业务新增字段。

原创 DBeaver 数据结构对比

原创 SQL json_table 行转列方法

是 LATERAL JOIN 语义——左侧每一行，右侧展开出多行。json_table 摊开 JSON 数组。把逗号字符串转成 JSON 数组。数据源、遍历粒度、输出列。JOIN 形成最终结果。

原创 Paimon Lookup Join 详解

Paimon Lookup Join 是一种基于快照查询的维表关联方式，专为 Paimon 的 LSM 存储特性设计。它采用请求-响应模式，当主表数据到达时触发对维度表的点查询，返回维度表最新快照数据，而非实时关联。维度表需配置 merge-engine 为 deduplicate 或 partial-update，且 changelog-producer 必须设为 lookup。查询延迟取决于 compaction 频率，通过参数可控制是否等待 compaction 完成。相比传统双流 Join，Look

原创 okhttp Stream Load 含认证请求重定向

http 请求 StarRocks，遇到错误码：307</</</</

原创 一个问题给到大模型经历了哪些？

请教一下：一个问题给到你，会发生什么请详细介绍一下中间过程这个问题问得很好——从你按下发送键到我回复出现在屏幕上，中间发生了一整条精密的流水线。我拆成：Hermes Agent 层（工程调度）和 LLM 推理层（模型计算），层层剥开。

原创 虚拟机能 ping 通宿主机，但宿主机 ping 不通虚拟机

window11 VMware 虚拟机。

原创 docker mysqld: Can‘t create/write to file ‘/tmp/ibOrYaxI‘ (OS errno 13 - Permission denied)

mysql 容器恢复启动异常。新指定挂载空临时目录文件。

原创 You can‘t specify target table ‘xxx‘ for update in FROM clause

因为在 DELETE 语句的子查询中直接引用了要删除的同一张表，MySQL 不允许这种操作。

原创 dolphinscheduler 定时任务未调度

工作流运行未生产工作流实例。

原创 计算机正数 / 负数及位运算

正数表示：5，正数在计算机中以原码存在负数表示：-5，

原创 dolphinscheduler 网卡

【代码】dolphinscheduler 网卡。

原创 “specify container image platform“ requires API version 1.41, but the Docker daemon API version is 1

【代码】“specify container image platform“ requires API version 1.41, but the Docker daemon API version is 1。

原创 同步异常: Incorrect datetime value: ‘1970-01-01 00:00:00‘ for column ‘xxxx‘

【代码】Data truncation: Incorrect datetime value: ‘1970-01-01 00:00:00‘ for column ‘first_recharge_time‘

原创 window java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$POSIX

spark window 本地任务异常

原创 FlinkCDC 数据倾斜

flinkcdc 数据倾斜

原创 脚本外部调用 shell 脚本内部定义的 function

【代码】脚本外部调用 shell 脚本内部定义的 function。

原创 Paimon changelog-producer 与 merge-engine

Paimon表的changelog-producer用于生成数据变更日志，支持四种模式：None、Input、Lookup和full-compaction。None模式不存储额外数据，适用于批处理场景；Input模式直接传递输入消息，适合数据库binlog场景；Lookup模式查找旧值生成完整变更日志，适合有计算逻辑的表；full-compaction模式在完全合并文件时生成变更日志，代价较高。不同模式根据业务需求选择，以平衡时效性和资源开销。

原创 dolphinscheduler 依赖节点不通过

dolphinscheduler 节点依赖，某个依赖报依赖不通过。master、worker、 api 程序执行添加。但 ds 所在的服务器时间是正确的。

原创 Apache Ranger 权限管理

【代码】Apache Ranger 权限管理。

原创 DWS层新增指标处理方案

业务逻辑确认： 与业务方或需求方深入沟通，清晰定义新指标的计算公式、统计口径（维度、粒度）、业务含义、是否允许为空、默认值是什么。数据来源确认： 确定计算该指标所需的最细粒度数据来源：是否完全依赖现有 DWS 层数据即可计算？(最理想情况，影响最小)是否需要依赖 DWD (Data Warehouse Detail) 层的明细数据？(需要向下追溯)是否需要依赖 ODS (Operational Data Store) 层或其他外部数据源？(影响较大，需评估数据质量和接入)历史数据要求。

转载 LD_LIBRARY_PATH

【代码】LD_LIBRARY_PATH。

原创 记一次 Starrocks be 内存异常宕机

突发性 be 内存飙高，直至被系统 kill 掉，be 内存如下：其中指标打满，重启也是如此看到被 kill 了每次重启 be 都会去拉起 tablet: 3544744及。

原创 StarRocks 异常 Table creation timed out.

【代码】StarRocks 异常 Table creation timed out.

原创 StarRocks 事务

starrocks 事务

原创 SparkSQL query optimization

Spark, in recent years, has become the go-to distributed computation framework for a lot of different use cases. From only providing map-reduce funtionalities, it has introduced other modules: from machine learning, to graph data, to SQL.Today we will focu

转载 揭露数据不一致的利器 —— 实时核对系统

随着企业业务发展，以及微服务化大趋势下单体服务的拆分，服务间的通信交互越来越多。与单体服务不同，微服务间的数据往往需要通过额外的手段来保障一致性，例如事务消息、异步任务补偿等。除了从机制上最大程度保障以外，如何观测并及时发现数据不一致也非常重要。本文介绍 Shopee Financial Products 团队设计和开发的实时核对系统（Real-time Checking System）

原创 Spark Tuning -- explaining Spark SQL Join Types

Spark join type

原创 Dolphinscheduler 参数传递

参数传递

翻译 Rapidly Changing Dimension (RCD) in Data Warehouse 杂项维度

杂项维度

原创 企业微信——智能表格学习

企业微信报表

原创 Spark Optimization —— Reducing Shuffle

randomness。

原创 Apache Gravitino 元数据管理

元数据管理

转载 用户商品推荐

商品推荐

原创 StarRocks FE启动异常

服务器断电，StarRocks FE 启动失败。

原创 Starrocks 元数据恢复 failed to load journal type 10242

Starrocks 元数据恢复

原创 Starrocks with 嵌套

在某些场景下需要进行 with 嵌套

翻译 Recommender System using ALS in Pyspark

【代码】Recommender System using ALS in Pyspark。