qq_15138049的博客

原创 虚拟机能 ping 通宿主机，但宿主机 ping 不通虚拟机

window11 VMware 虚拟机。

原创 docker mysqld: Can‘t create/write to file ‘/tmp/ibOrYaxI‘ (OS errno 13 - Permission denied)

mysql 容器恢复启动异常。新指定挂载空临时目录文件。

原创 You can‘t specify target table ‘xxx‘ for update in FROM clause

因为在 DELETE 语句的子查询中直接引用了要删除的同一张表，MySQL 不允许这种操作。

原创 dolphinscheduler 定时任务未调度

工作流运行未生产工作流实例。

原创 计算机正数 / 负数及位运算

正数表示：5，正数在计算机中以原码存在负数表示：-5，

原创 dolphinscheduler 网卡

【代码】dolphinscheduler 网卡。

原创 “specify container image platform“ requires API version 1.41, but the Docker daemon API version is 1

【代码】“specify container image platform“ requires API version 1.41, but the Docker daemon API version is 1。

原创 同步异常: Incorrect datetime value: ‘1970-01-01 00:00:00‘ for column ‘xxxx‘

【代码】Data truncation: Incorrect datetime value: ‘1970-01-01 00:00:00‘ for column ‘first_recharge_time‘

原创 window java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$POSIX

spark window 本地任务异常

原创 FlinkCDC 数据倾斜

flinkcdc 数据倾斜

原创 脚本外部调用 shell 脚本内部定义的 function

【代码】脚本外部调用 shell 脚本内部定义的 function。

原创 Paimon changelog-producer 与 merge-engine

Paimon表的changelog-producer用于生成数据变更日志，支持四种模式：None、Input、Lookup和full-compaction。None模式不存储额外数据，适用于批处理场景；Input模式直接传递输入消息，适合数据库binlog场景；Lookup模式查找旧值生成完整变更日志，适合有计算逻辑的表；full-compaction模式在完全合并文件时生成变更日志，代价较高。不同模式根据业务需求选择，以平衡时效性和资源开销。

原创 dolphinscheduler 依赖节点不通过

dolphinscheduler 节点依赖，某个依赖报依赖不通过。master、worker、 api 程序执行添加。但 ds 所在的服务器时间是正确的。

原创 Apache Ranger 权限管理

【代码】Apache Ranger 权限管理。

原创 DWS层新增指标处理方案

业务逻辑确认： 与业务方或需求方深入沟通，清晰定义新指标的计算公式、统计口径（维度、粒度）、业务含义、是否允许为空、默认值是什么。数据来源确认： 确定计算该指标所需的最细粒度数据来源：是否完全依赖现有 DWS 层数据即可计算？(最理想情况，影响最小)是否需要依赖 DWD (Data Warehouse Detail) 层的明细数据？(需要向下追溯)是否需要依赖 ODS (Operational Data Store) 层或其他外部数据源？(影响较大，需评估数据质量和接入)历史数据要求。

转载 LD_LIBRARY_PATH

【代码】LD_LIBRARY_PATH。

原创 记一次 Starrocks be 内存异常宕机

突发性 be 内存飙高，直至被系统 kill 掉，be 内存如下：其中指标打满，重启也是如此看到被 kill 了每次重启 be 都会去拉起 tablet: 3544744及。

原创 StarRocks 异常 Table creation timed out.

【代码】StarRocks 异常 Table creation timed out.

原创 StarRocks 事务

starrocks 事务

原创 SparkSQL query optimization

Spark, in recent years, has become the go-to distributed computation framework for a lot of different use cases. From only providing map-reduce funtionalities, it has introduced other modules: from machine learning, to graph data, to SQL.Today we will focu

转载 揭露数据不一致的利器 —— 实时核对系统

随着企业业务发展，以及微服务化大趋势下单体服务的拆分，服务间的通信交互越来越多。与单体服务不同，微服务间的数据往往需要通过额外的手段来保障一致性，例如事务消息、异步任务补偿等。除了从机制上最大程度保障以外，如何观测并及时发现数据不一致也非常重要。本文介绍 Shopee Financial Products 团队设计和开发的实时核对系统（Real-time Checking System）

原创 Spark Tuning -- explaining Spark SQL Join Types

Spark join type

原创 Dolphinscheduler 参数传递

参数传递

翻译 Rapidly Changing Dimension (RCD) in Data Warehouse 杂项维度

杂项维度

原创 企业微信——智能表格学习

企业微信报表

原创 Spark Optimization —— Reducing Shuffle

randomness。

原创 Apache Gravitino 元数据管理

元数据管理

转载 用户商品推荐

商品推荐

原创 StarRocks FE启动异常

服务器断电，StarRocks FE 启动失败。

原创 Starrocks 元数据恢复 failed to load journal type 10242

Starrocks 元数据恢复

原创 Starrocks with 嵌套

在某些场景下需要进行 with 嵌套

翻译 Recommender System using ALS in Pyspark

【代码】Recommender System using ALS in Pyspark。

原创 Apifox 接口中文报 Request path contains unescaped characters

原创 数值治理学习记录

数据治理

转载 详解数据治理体系

数据治理

翻译 How to develop an enterprise data warehouse from scratch to foster a data-driven culture

data warehouse

原创 hive SQL264 牛客每个人最近的登录日期(五)

hive sql

原创 hive on spark 记录

hive on spark 记录。

原创 TPCH 导入Starrocks

【代码】TPCH 导入Starrocks。

原创 Stargo 管理部署 Starrocks 集群

Stargo