自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(36)
  • 收藏
  • 关注

原创 WPS中使用VLOOKUP匹配包含指定字符串的行

假设:在目标单元格输入以下公式:公式参数说明:VLOOKUP默认不区分大小写(// 均会匹配),如需严格区分,改用以下数组公式:输入公式后需按 Ctrl+Shift+Enter 完成数组公式确认。参数说明:若关键词包含 // 等通配符,需用 转义:

2026-03-03 19:01:50 398

原创 Inceptor/Hive序列数值异常增长问题分析与解决

【代码】Inceptor/Hive序列数值异常增长问题分析与解决。

2026-02-27 19:47:39 331

原创 MySQL备份核心指南

如果只需备份指定存储过程(而非全部),可直接查询表,拼接出完整的创建语句并导出到文件。-- 查询指定数据库下的指定存储过程WHERE ROUTINE_SCHEMA = '你的数据库名'AND ROUTINE_NAME = '你的存储过程名'数据层:表结构、表数据逻辑层:函数、存储过程、触发器、视图、事件环境层:用户权限、配置文件、主从信息数据:表结构、表数据业务逻辑:函数、存储过程、触发器、视图、事件系统配置:用户权限、配置文件、主从信息。

2026-02-13 16:04:08 926

原创 元数据及元数据备份、迁移详解

是,用于定义、说明、管理数据的属性、结构、存储位置、关联关系、权限、生命周期等信息,不存储业务实际数据,是整个数据体系的。

2026-02-13 15:18:41 577 1

原创 Linux split命令详解

前缀为data_,数字后缀,每100行拆分 split -l 100 -d bigfile.log data_输出文件:data_00、data_01、data_02…# 后缀长度3位,数字命名输出文件:x000、x001、x002…

2026-02-13 12:03:08 348

原创 # Linux diff命令使用

(difference缩写)是Linux/Unix系统中逐行比较两个文本文件/目录内容差异的核心命令,适用于代码审查、配置文件对比、版本控制和补丁生成等场景。

2026-02-13 11:52:15 325

原创 # TiDB Server 容器启动失败问题排查与解决

TiDB启动失败核心原因是PD的–advertise-client-urls配置缺失,导致地址解析错误容器环境下TiDB的–path参数无需添加http://协议头,直接使用pd:2379即可精简镜像无基础命令时,优先通过宿主机测试网络连通性,而非容器内排查ExitCode=1且日志为空时,优先排查参数错误和依赖服务地址配置。

2026-02-10 11:22:30 478

原创 Windows 下 Docker 部署 TiDB 伪集群技术指导

Docker 部署 TiDB 伪集群的核心是足够的内存分配和正确的 PD 地址配置16GB 物理内存需为 Docker 分配 ≥ 8GB,同时限制 TiKV 内存 ≤ 2GB容器间通信依赖 PD 的配置为验证集群的关键是通过 MySQL 客户端/可视化工具成功连接并执行 SQL。

2026-02-10 10:03:28 638

原创 Windows下Docker Desktop安装与版本选择指南

基本安装命令# 完整自定义安装命令(含WSL2配置)

2026-02-09 18:34:52 1369

原创 Python多线程环境下连接对象的线程安全管理规范

无论通过全局变量、参数传递、类变量、加锁保护哪种方式,只要多个线程持有同一个连接对象的内存引用,就会因连接对象的非线程安全特性引发问题,本质是违背了“非线程安全对象不能跨线程共享状态”的基本原则。

2026-01-30 21:02:26 1059

原创 个人笔记: 星环Inceptor/hive普通分区表与范围分区表核心技术总结

id INT,PARTITIONED BY (dt STRING COMMENT '数据日期,格式yyyyMMdd');版本支持:普通分区表全版本,范围分区表仅4.0+列属性:普通分区表为独立虚拟列,范围分区表可复用普通列形成双属性列分区逻辑:普通分区表为离散值划分,范围分区表为连续范围划分管理方式:普通分区表手动创建/指定,范围分区表规则预定义+自动匹配查询适配:普通分区表适配等值查询,范围分区表适配范围查询。

2026-01-30 10:17:20 784

原创 UTF-8转GBK编码处理技术问题总结(iconv转有乱码文件数据避坑)

数据开发场景下,需将转换为并自动化读取入库,全程无需手动打开/转换文件格式;文件中存在原有乱码内容,要求保留乱码不做任何改动,避免转码操作导致乱码二次错乱、数据不一致,同时适配工程化自动化/批量处理需求。

2026-01-28 15:40:10 978

原创 Notepad++ 正则匹配实战:时间戳及高频场景

Notepad++时间戳匹配的关键是按格式拆分字段(年/月/日/时/分/秒),用\d{n}固定长度,结合分隔符精准匹配;日常使用优先简易正则,无需过度追求日期合法性校验,匹配后再做人工/工具校验即可;正则的贪婪/非贪婪捕获组负向预查是解决复杂匹配的核心,需结合场景灵活使用;运维/开发中,先通过「查找全部」验证正则的匹配结果,再执行「全部替换」,避免误操作。

2026-01-27 10:58:03 462

原创 MySQL,PLSQL,Oracle,Inceptor数据库误删表(DROP TABLE)数据恢复操作指南

关系型数据库(MySQL/Oracle/PG)依赖备份+日志(binlog/WAL/归档日志),无备份无日志恢复成功率极低Hive/Inceptor依赖HDFS数据文件元数据(MySQL)备份,开启回收站可大幅降低恢复成本。

2026-01-27 08:49:46 881

原创 Inceptor/hive中整数类型分桶键数据倾斜问题及优化方案

原理:替换默认哈希函数,增强整数的哈希分散性。示例代码(Inceptor UDF):-- 自定义UDF:对整数做二次哈希,打散分布// 经典的整数哈希优化:异或右移,打散连续整数的哈希值-- 注册后使用核心原因:整数分桶键倾斜并非类型本身问题,而是整数分布不均+哈希映射冲突导致。最优优化路径:先优化分桶键(复合键/哈希打散)→ 调整分桶数(质数)→ 预处理热点数据。配置要点:开启分桶强制校验,通过桶统计持续监控倾斜情况。

2026-01-26 11:55:51 334

原创 磁盘空间不足问题定位与解决(运维实战)

排查核心:先通过定位异常分区,再用du/find找大文件,重点排查(已删未释放文件)清理原则:用truncate清空日志而非rm删除,避免程序句柄失效预防关键:日志轮转+定时清理+监控告警,LVM分区是扩容最优选择。

2026-01-26 10:47:28 569

原创 DBeaver连接MySQL报Public Key Retrieval is not allowed错误解决方法

【代码】DBeaver连接MySQL报Public Key Retrieval is not allowed错误解决方法。

2026-01-22 10:21:52 325

原创 多节点Linux集群免密互通配置与远程脚本部署全方案技术文档

本方案实现了多节点Linux集群从初始化(免密+hosts)到远程部署的全流程自动化,核心优势在于无交互、可复用、双Python方案适配不同场景。通过Shell脚本封装底层操作,Python提供上层调度,既降低了运维门槛,又保障了生产环境的稳定性与安全性。方案可直接复用至ETL作业部署、服务集群初始化、定时运维任务等场景,大幅提升多节点集群的运维效率。

2026-01-20 20:30:00 799

原创 Docker部署TiDB集群技术文档

开发/测试/学习:优先选择单机伪集群,一键部署、零配置、快速启停生产预发/小型业务/数仓部署:优先选择轻量分布式集群,解耦、持久化、可扩容、高可用。

2026-01-20 09:39:01 761

原创 Git代码提交规范及问题处理完整版

开发/提交代码前,必须拉取最新代码,杜绝冲突。

2026-01-19 12:02:01 1043

原创 个人笔记:搭建数据库选择总结

【代码】个人笔记:搭建数据库选择总结。

2026-01-19 11:19:01 959

原创 百万数据估算及数据存储与性能优化

存储:无大字段≈150MB,带文章正文≈750MB,普通服务器轻松存储查询:合理索引+配置优化后,常规查询≤50ms,分页/聚合查询≤200ms插入:Python批量插入+MySQL优化,100万条数据最快3分钟完成适配场景:CSDN自动发布脚本、数据统计、批量插入、高频查询全场景所有SQL/配置/代码可直接复制执行,无冗余,新手友好。

2026-01-16 19:30:22 609

原创 复习笔记: Python 变量赋值

Python 中不可变类型 (int/str 等) 直接赋值不会修改列表内存储值,可变类型 (list) 修改内部元素可实现列表值联动,该问题影响 Python 基础变量与列表联动的开发场景,全平台 Python3.x 通用。存在 2 种执行结果,代码操作一致仅变量类型不同,结果完全不同:python运行执行结果:执行同逻辑修改变量操作后,得到结果:适用场景:常规业务开发,无需列表联动更新,原生标准写法python运行核心原理:是不可变类型,是创建新内存数据,原数据地址不变,列表存原地址故值不变

2026-01-16 17:14:08 272

原创 【踩坑总结】MySQL 多版本共存 + DBeaver 连接的常见问题与解决方案

本地同时运行两个 MySQL 版本,使用 DBeaver 连接时出现以下问题:DBeaver 仅显示sys等少数系统库,CMD 中存在的业务库(如tdh)不显示;DBeaver 查询tdh.tool_tb_info表提示 “表不存在”,但 CMD 中能正常返回数据;多 MySQL 版本因默认端口(3306)冲突,无法同时启动服务。DBeaver 连接核心:先确认连接的实例(版本 / 端口 / IP)是否与操作目标一致,元数据不同步时优先刷新;

2026-01-14 20:34:44 575

原创 SQL节假日相关业务笔记

SQL节假日相关业务笔记:口径:1.取第七个工作日:2.取第七个交易日:4.登录3天:解释:日期倒序排序,如果是连续登录,则后两行对应的日期,肯定是和日期减去2天后的日期是相等的,否则,就不是连续登录。

2024-01-28 16:03:47 491

原创 SQL语句优化笔记

sql相关优化

2024-01-04 12:51:56 446

原创 github代码托管git详细操作指南

开通Github账号后,本地Git仓库和Github仓库仍然不能传输项目,原因是要通过SSH加密才能传输,所以需要让Github认证本地的SSH Key,认证之前,则先使用Git生成SSH Key。执行完成之后,在.ssh 目录下就会生成秘钥文件(没有.ssh目录的会自动生成,手动创建的则不会重复生成)以pub结尾的是公钥,另一个是私钥。公司用的是gitlab作为仓库管理工具,个人学习使用的是github,两者添加密钥都是差不多的,我以github为例。在更新代码之后,我们可能会对代码进行修改。

2023-12-25 18:18:08 1347

原创 索引失效及走索引笔记

【代码】索引失效及走索引笔记。

2023-12-22 18:49:49 427

原创 笔记:文件属性--时间

笔记:文件之属性的重要性文件的属性:1.名称2.位置3.空间大小4.修改时间5.其他其中前面4点非常重要今天讲的是文件时间的重要性,通常我们找文件可能是以名称和位置定位进行查找,这样非常方便,但是频繁的修改文件大小最好以时间进行查找最方便。通常我们很少关注文件属性的时间变化,这点是必须知道的。文件时间属性的变化有两点:1.创建文件2.修改文件的内容...

2021-06-21 10:28:43 583

原创 星环大数据incepter简易指南

星环大数据incepter简易指南部分一 sql:查看系统表:select * from system.tables_v;查看视图:select * from system.views_v;扩展:从此系统视图中可以找出其他系统表, 如分区表、表空间、过程表等等,延伸至其他的表视图。 如表锁、状态、索引。查看分区表,分区键:select* from system.partitions_v;查看临时表select * from system.dual部分二 连接

2021-06-02 10:16:15 3111

原创 数据库查询运维sql笔记记录

数据库查询运维sql笔记记录(更新中)比较两个表中数据的差异性:select sum(nb),zd1,zd2,zd3 from ( select '1' as nb ,zd1,zd2,zd3 from tb1 union all select '-1' as nb ,zd1,zd2,zd3 from tb1_bak ) group by zd1,zd2,zd3 having sum(nb) &

2020-10-21 09:27:42 257

原创 关于手机集群建设项目的提议

手机集群建设项目的提议问题来源:归于近些年来的手机的新换代速度过快,回收了许多性能不错切便宜实惠的旧手机,性能的过剩。从IO、芯片、体量来看都强于普通主机电脑。需求:对大量的筛选过后的性能不错的手机进行处理,通过软件的方式使之互联,共享数据内存,芯片处理,建立优良的微机处理房,便于日常的数据收集处理。技术支持:通用手机平台架构模式具体实现:通过并行两三部手机进行交互,然后以此扩展到多部手机处理交流数据。...

2020-09-16 00:12:44 1113 1

原创 gp数据库日常运维sql语句笔记

gp数据库日常运维sql语句笔记(更新中)后台登录psql管理操作:psql -d database -h ip -p 5432 -U username后台登录oracle管理操作:sqlplus sys/password@ip:1521/database [as username]gp查询表结构:select * from information_schema.columns where table_name = 'my_table' order by ordinal_positio

2020-06-15 18:59:00 3127 1

原创 oracle 数据库查询运维

oracle 数据库查询运维查询最近插入的数据的日期select id, to_char(scn_to_timestamp(ORA_ROWSCN),'yyyy-mm-dd hh24:mi:ss:ff8') insert_time from table; ---table表示插入的表根据中文表名注释查询英文表select t.table_name from all_tab_comments t where t.comments like '%财务基本信息表

2020-06-05 13:19:02 284

原创 linux运维常用命令操作之文件操作

linux运维常用命令操作之文件操作查找文件sudo find ./ -type d -atime -1-iname 文件名 --查找一天之内访问过的目录名 --(+没有访问,-访问过)参照网址:https://www.cnblogs.com/lixuwu/p/7816390.html...

2019-11-13 16:47:17 193

原创 greenplum常用sql语句整理(与oracle比较)

greenplum常用sql语句整理(与oracle比较)后台登录psql管理操作:psql -d database -h ip -p 5432 -U username后台登录oracle管理操作:sqlplus sys/password@ip:1521/database [as username]gp查询表结构:\d schemas.table_name;oracle查询表结...

2019-11-13 15:59:43 1671

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除