- 博客(59)
- 收藏
- 关注
RSS订阅原创 Oracle 数据库运维指南笔记
现象：abort 强制关闭后 startup 自动做实例恢复，大库恢复慢。处理原则：Oracle 自动回滚未提交事务，无需人工 recover。
2026-10-23 09:21:06
211
原创 Hadoop 生产运维实战手册
操作前先记录时间、应用ID、节点信息；重大操作前先备份元数据，业务低峰期执行。巡检建议纳入监控平台（Prometheus + Grafana），对接钉钉/企业微信告警。日常巡检项固化：安全模式状态、DN存活数、Missing/Corrupt块数、磁盘使用率、NM健康、队列资源、节点服务器磁盘/内存/进程。均衡、退役、扩容等批量动作统一走变更流程，保留操作日志，方便回溯。针对 HDFS 数据倾斜、YARN 队列配额、磁盘容量做周期性容量规划。
2026-10-20 08:40:53
338
原创 数据运维生产故障案例笔记
生产事故处理全流程：报警触发→值班响应→现场排查→应急止损→根因定位→永久修复→耗时统计→业务补救→复盘整改→团队制度优化，流程化规范化线上SLA考核、业务止损、故障规避落地需求。通用生产SLA（Service Level Agreement）基准。数据运维生产故障案例。
2026-07-17 18:00:00
301
原创 SQL优化_监管指标计算性能全维度优化方案
针对高频监管指标（LCR、NSFR、单一对手敞口）创建物化视图，自动预计算并落地，报表查询直接读取视图结果，无需实时聚合。
2026-06-30 18:30:00
309
原创 全面风险管理数据集市（信用+市场+流动性）笔记
依赖核心必选表：dwd_mkt_bond_hold_d、dws_mkt_risk_day_wide_d、ads_mkt_risk_monitor_d。业务描述：设置轻度经济下行、重度衰退、利率大幅上行、流动性挤兑四类场景，测算压力下总损失、LCR/NSFR 承压水平、资本缓冲剩余额度。业务描述：汇总单一对手贷款、同业、债券全部风险暴露，对比单一授信限额，监控大额对手集中度超限风险。业务描述：每日债券持仓市值、浮盈浮亏计算，计量市场风险潜在损失，监控高风险低评级债券持仓占比。【债券市场风险监控大屏示意图】
2026-06-30 11:23:55
439
原创 Hive数据倾斜原因及解决办法
LEFT/RIGHT/FULL JOIN场景，维度过滤条件写在WHERE而非ON后，JOIN完成后再过滤，未匹配产生的海量NULL关联键全部参与Shuffle分发，统一哈希到同一个Reducer，形成严重倾斜；内JOIN无该问题。
2026-06-24 19:15:14
254
原创 数据仓库建模手册笔记
优势：全局口径高度统一、历史数据完整可追溯、源系统迭代改动范围小劣势：多表关联查询性能极差、业务人员理解门槛高、项目建设周期漫长优势：关联表少查询速度快、业务可读性强、落地迭代速度快、适配报表自助分析劣势：缺少统一管控时易出现口径冲突，强依赖一致性维度体系优势：横向扩展能力极强、源系统结构变更无需重构模型、完整留存全历史数据劣势：模型抽象难懂、查询需大量多表JOIN、计算资源消耗高优势：毫秒级查询响应、适配实时大屏、自助实时指标快速查询。
2026-06-24 18:15:00
374
原创 大数据平台数据入湖规范
大数据平台数据入湖规范第一章 总则1.1 目的为规范大数据平台数据入湖全流程，实现数据“统一标准、统一管控、安全合规、高效可用”，规避数据混乱、质量低下、存储冗余、安全泄露等问题，保障数据湖资产的完整性、一致性和可追溯性，支撑下游数据分析、业务决策及数据应用落地，特制定本规范。本规范适用于所有接入大数据平台数据湖的数据源、数据处理、数据存储、数据管控及相关技术人员、业务人员。1.2 适用范围。
2026-06-20 12:00:00
421
原创 树形数据结构完整文档整合
每一层节点全部填满，不存在单侧缺子节点的情况具备严格节点位置摆放规则，无数值大小约束，堆的底层载体除最后一层，其余层级全部填满最后一层节点靠左连续排布，中间无空白强制约束：任意节点左子树全部值 < 当前节点 < 右子树全部值基于BST，附加平衡约束：任意节点左右子树高度差绝对值≤1底层遵循BST大小规则，5条颜色平衡约束，C++ map/Java TreeMap底层实现根节点为黑色所有NIL哨兵叶子为黑色不存在连续两个红色节点任意节点到所有叶子路径黑色节点数量相等节点仅红、黑两种颜色。
2026-06-18 12:00:00
247
原创 星环Inceptor千字段宽表千万级数据跑批OOM、任务中断解决方案
适用场景：源表存在自增ID/有序唯一字段分片步长：1000字段宽表，单批建议30万~50万条，示例步长500000数据总量：示例总数据30000000条。
2026-06-17 13:45:00
311
原创 Inceptor 批量入库临时优化参数 & SQL Hint 使用指南
*+ 提示内容 */是SQL Hint（优化提示），属于星环Inceptor自研语法仅当前单条SQL生效，不会影响同会话其他语句。
2026-06-16 12:00:00
407
原创 排序算法及不同场景应用总结
小规模有序数据：优先插入排序。通用内存排序：优先快速排序。海量磁盘数据/要求稳定：优先归并排序。求取Top-K极值：优先堆排序。数值范围有限数据：优先计数/基数排序。数据库：优先利用索引，根据内存、数据量自动切换快排、归并、堆排。搜索引擎：倒排索引+堆排召回，多模型分层排序结合机器学习完成最终定序。
2026-06-15 10:20:38
441
原创 Inceptor事务表HDFS损坏块故障修复说明
二、根因定位2.1 直接原因HDFS数据块物理损坏（校验和不匹配/副本丢失），属于HDFS存储层故障。执行前设置以下参数跳过损坏块：3.2 运维层HDFS块修复（HDFS管理员权限）登录HDFS主节点执行：尝试修复损坏块无法修复则删除损坏块3.3 DBA层表修复（SQL操作）修复表元数据彻底重建表（损坏块无法恢复时）四、验证标准关闭绕过参数后执行以下验证：
2026-06-12 18:53:24
240
原创 WPS中使用VLOOKUP匹配包含指定字符串的行
假设：在目标单元格输入以下公式：公式参数说明：VLOOKUP默认不区分大小写（// 均会匹配），如需严格区分，改用以下数组公式：输入公式后需按 Ctrl+Shift+Enter 完成数组公式确认。参数说明：若关键词包含 // 等通配符，需用 转义：
2026-03-03 19:01:50
748
原创 MySQL备份核心指南
如果只需备份指定存储过程（而非全部），可直接查询表，拼接出完整的创建语句并导出到文件。-- 查询指定数据库下的指定存储过程WHERE ROUTINE_SCHEMA = '你的数据库名'AND ROUTINE_NAME = '你的存储过程名'数据层：表结构、表数据逻辑层：函数、存储过程、触发器、视图、事件环境层：用户权限、配置文件、主从信息数据：表结构、表数据业务逻辑：函数、存储过程、触发器、视图、事件系统配置：用户权限、配置文件、主从信息。
2026-02-13 16:04:08
971
原创 元数据及元数据备份、迁移详解
是，用于定义、说明、管理数据的属性、结构、存储位置、关联关系、权限、生命周期等信息，不存储业务实际数据，是整个数据体系的。
2026-02-13 15:18:41
689
1
原创 Linux split命令详解
前缀为data_，数字后缀，每100行拆分 split -l 100 -d bigfile.log data_输出文件：data_00、data_01、data_02…# 后缀长度3位，数字命名输出文件：x000、x001、x002…
2026-02-13 12:03:08
452
原创 # Linux diff命令使用
（difference缩写）是Linux/Unix系统中逐行比较两个文本文件/目录内容差异的核心命令，适用于代码审查、配置文件对比、版本控制和补丁生成等场景。
2026-02-13 11:52:15
386
原创 # TiDB Server 容器启动失败问题排查与解决
TiDB启动失败核心原因是PD的–advertise-client-urls配置缺失，导致地址解析错误容器环境下TiDB的–path参数无需添加http://协议头，直接使用pd:2379即可精简镜像无基础命令时，优先通过宿主机测试网络连通性，而非容器内排查ExitCode=1且日志为空时，优先排查参数错误和依赖服务地址配置。
2026-02-10 11:22:30
530
原创 Windows 下 Docker 部署 TiDB 伪集群技术指导
Docker 部署 TiDB 伪集群的核心是足够的内存分配和正确的 PD 地址配置16GB 物理内存需为 Docker 分配 ≥ 8GB，同时限制 TiKV 内存 ≤ 2GB容器间通信依赖 PD 的配置为验证集群的关键是通过 MySQL 客户端/可视化工具成功连接并执行 SQL。
2026-02-10 10:03:28
853
原创 Python多线程环境下连接对象的线程安全管理规范
无论通过全局变量、参数传递、类变量、加锁保护哪种方式，只要多个线程持有同一个连接对象的内存引用，就会因连接对象的非线程安全特性引发问题，本质是违背了“非线程安全对象不能跨线程共享状态”的基本原则。
2026-01-30 21:02:26
1097
原创 个人笔记： 星环Inceptor/hive普通分区表与范围分区表核心技术总结
id INT,PARTITIONED BY (dt STRING COMMENT '数据日期，格式yyyyMMdd');版本支持：普通分区表全版本，范围分区表仅4.0+列属性：普通分区表为独立虚拟列，范围分区表可复用普通列形成双属性列分区逻辑：普通分区表为离散值划分，范围分区表为连续范围划分管理方式：普通分区表手动创建/指定，范围分区表规则预定义+自动匹配查询适配：普通分区表适配等值查询，范围分区表适配范围查询。
2026-01-30 10:17:20
1061
原创 UTF-8转GBK编码处理技术问题总结（iconv转有乱码文件数据避坑）
数据开发场景下，需将转换为并自动化读取入库，全程无需手动打开/转换文件格式；文件中存在原有乱码内容，要求保留乱码不做任何改动，避免转码操作导致乱码二次错乱、数据不一致，同时适配工程化自动化/批量处理需求。
2026-01-28 15:40:10
1059
原创 Notepad++ 正则匹配实战：时间戳及高频场景
Notepad++时间戳匹配的关键是按格式拆分字段（年/月/日/时/分/秒），用\d{n}固定长度，结合分隔符精准匹配；日常使用优先简易正则，无需过度追求日期合法性校验，匹配后再做人工/工具校验即可；正则的贪婪/非贪婪捕获组负向预查是解决复杂匹配的核心，需结合场景灵活使用；运维/开发中，先通过「查找全部」验证正则的匹配结果，再执行「全部替换」，避免误操作。
2026-01-27 10:58:03
707
原创 MySQL，PLSQL，Oracle，Inceptor数据库误删表（DROP TABLE）数据恢复操作指南
关系型数据库（MySQL/Oracle/PG）依赖备份+日志（binlog/WAL/归档日志），无备份无日志恢复成功率极低Hive/Inceptor依赖HDFS数据文件元数据（MySQL）备份，开启回收站可大幅降低恢复成本。
2026-01-27 08:49:46
1192
原创 Inceptor/hive中整数类型分桶键数据倾斜问题及优化方案
原理：替换默认哈希函数，增强整数的哈希分散性。示例代码（Inceptor UDF）：-- 自定义UDF：对整数做二次哈希，打散分布// 经典的整数哈希优化：异或右移，打散连续整数的哈希值-- 注册后使用核心原因：整数分桶键倾斜并非类型本身问题，而是整数分布不均+哈希映射冲突导致。最优优化路径：先优化分桶键（复合键/哈希打散）→ 调整分桶数（质数）→ 预处理热点数据。配置要点：开启分桶强制校验，通过桶统计持续监控倾斜情况。
2026-01-26 11:55:51
366
原创 磁盘空间不足问题定位与解决（运维实战）
排查核心：先通过定位异常分区，再用du/find找大文件，重点排查（已删未释放文件）清理原则：用truncate清空日志而非rm删除，避免程序句柄失效预防关键：日志轮转+定时清理+监控告警，LVM分区是扩容最优选择。
2026-01-26 10:47:28
674
原创 DBeaver连接MySQL报Public Key Retrieval is not allowed错误解决方法
【代码】DBeaver连接MySQL报Public Key Retrieval is not allowed错误解决方法。
2026-01-22 10:21:52
427
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人