- 博客(49)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 SkyWalking 链路数据处理实战：Segment 反序列化入 ClickHouse、Refs 拓扑去重与分钟级多粒度聚合
把 SkyWalking 的 Segment 链路数据从 Kafka 反序列化为明文 JSON，逐字段解析写入 ClickHouse 明细表；利用 Refs 构建去重后的服务调用拓扑推送 Kafka；再按端点/实例/服务/应用四个粒度做分钟级聚合，配合 SQL 慢语句分析表与分层 TTL，附完整建表 DDL 与字段映射规则。
2026-10-04 19:39:41
288
原创 Elasticsearch 聚合 DSL 实战：日志大屏的总数、成功率与分组统计（bucket_script 比率计算）
日志大屏的数字不该靠翻页累加。本文基于 ES 7.17 生产实践，用 4 个聚合 DSL 模板算清日志总量、全局/分组解析成功率与分组 Top-N：常量单桶技巧让根级指标也能用 bucket_script 做除法，filter 子聚合承载业务口径，附 request cache、深分片 reduce 等工程踩坑。
2026-10-03 19:42:02
223
原创 ClickHouse 可观测数据建模实战：指标、日志、链路、告警四类数据的 MergeTree 表设计与集群化改造
一套 ClickHouse 承载指标、日志、链路、告警四类可观测数据：dwd/dws 分层、分区与 TTL 取舍、ORDER BY 主键设计、tags 建模、Map 列存解析字段，再到 ReplicatedMergeTree + Distributed 集群化改造与 StarRocks 对比，附完整建表语句与踩坑清单。
2026-10-02 19:45:13
201
原创 Elasticsearch 日志检索 DSL 实战：时间范围查询、字段去重、分钟级统计与最新日志获取
日志平台高频检索场景的 Elasticsearch DSL 模板：时间范围检索、collapse 字段去重、date_histogram 分钟级统计、terms+top_hits 取每组最新日志，附 Kibana 只读用户配置与踩坑清单（ES 7.17 实测）。
2026-10-01 19:36:35
320
原创 Neo4j 内嵌模式（Embedded）实战：Java 嵌入式 vs 服务端部署的写入性能对比与 GC 调优
调研 Neo4j 内嵌模式（Embedded）在 Java 应用中的真实表现：同样百万级节点建图，服务端 13.5 秒完成，内嵌模式默认 JVM 配置下 GC 超 1 分钟、堆调至 8GB 才能跑完。附云原生五层拓扑建图 Cypher、五种层级查询模板与选型结论。
2026-09-29 19:38:11
230
原创 云原生日志采集与检索架构实战：K8s 日志和传统日志统一接入日志平台的设计方案（Kafka + Elasticsearch）
容器化改造后，传统主机日志的「采集任务+对象+路径」三元组定位模型彻底失效。本文给出一套生产落地的统一日志平台方案：采集关联对象下沉到 K8s 工作负载、Kafka 主题按日志类型拆分、ES 双索引模板分开存储、检索统一入口自动路由到对应索引，并重点讨论容器漂移下的日志连续性处理与踩坑经验。
2026-09-28 19:40:32
375
原创 告警规则迁移实战：跨系统字段映射、term 条件转正则与增量同步（Java + MyBatis-Plus 全流程）
日志平台重构时，如何把三方告警系统的存量规则批量迁到新平台？本文给出一套生产落地方案：中转表解耦同步、字段映射保住元数据、term 条件逐条转正则保住匹配语义、来源标记法实现幂等增量同步，Java + MyBatis-Plus 完整实现，附踩坑清单与上线验证标准。
2026-09-27 19:36:14
350
原创 Elasticsearch 日增 30TB 日志架构实战：可变索引粒度、分片规划与检索调优
日增 30TB 日志场景下的 Elasticsearch 架构设计：容量带宽评估、日/时/分可变索引粒度与动态路由、分片规划经验值、ILM 生命周期与索引模板、检索读写分离与缓存规划、日志字段规范与 K8s Pod 漂移踩坑。
2026-09-26 19:41:22
325
原创 Flink CDC 实战：MySQL 数据实时同步到 ClickHouse 集群（ReplicatedMergeTree + Distributed 建表与任务配置全流程）
通过 Flink CDC 把 MySQL 业务库的维度表实时同步到 ClickHouse 集群：覆盖 ReplicatedMergeTree + Distributed 本地表/分布式表建表设计、同步任务的完整 JSON 配置解读（表映射、主键声明、微批参数），以及 ON CLUSTER 建删表、按主键批量更新等常用运维 SQL 与踩坑总结。
2026-09-22 19:41:50
242
原创 Neo4j 千万级节点性能实测：7 层运维拓扑 6 大查询场景，100 并发压测结论与优化建议
图数据库存 CMDB/运维拓扑能不能扛千万级节点？8 核 16G 虚拟机 + Neo4j 4.4.48 社区版实测 1000 万节点、1070 万关系的 7 层数据中心拓扑：6 大查询场景单线程 8~128ms、QPS 7~113；100 并发下 QPS 衰减至 10%~30%，场景 A 首查预热坑被放大成平均 126 秒、33.6% 失败。文末附性能排名、生产可用性评估、三层优化建议与全部 Cypher 语句。
2026-09-20 19:45:25
315
原创 把重复劳动交给 AI 智能体：GLM-5.3 + ZCode 自动化工作流实践（附 2000 万 Tokens 体验礼包）
模型层：GLM-5.3 在推理、代码、智能体综合能力上达到了开源模型 SOTA 水平。体感上最明显的三点：长任务的规划能力（多步骤流程不迷路）、代码质量（生成的脚本一次跑通率高）、中文语境的贴合（技术文档理解和表达都在线）。工程层：ZCode 不是"套壳聊天框"，而是完整的智能体运行时——工具调用（读写文件、执行命令、操控浏览器）、权限门控（敏感操作先确认）、上下文管理（长任务不丢线索）。这些工程细节决定了"能用"和"好用"的差距。成本层：新用户注册就送2000 万 Tokens。
2026-09-12 13:22:10
202
原创 不重新打包，vim 直接改 jar 包内的前端文件：原理、步骤与避坑
这个技巧的正确定位是应急手段：改一行文案、调一个标签、临时改个配置，五分钟解决客户现场问题，省掉一轮完整发版。但它的边界同样清晰——只碰文本资源、不碰签名包、改动必转正。用对了是利器，用错了（改 class、忘备份）就是事故。你用 vim 改过 war/jar 包吗？有没有更狠的应急操作？评论区见。环境：Linux + vim 8+，Spring Boot fat jar；文中路径与包名均为示例。
2026-09-10 22:45:57
174
原创 Elasticsearch 9 安装验证实战：start-local 一键部署 + Docker 手动安装踩坑指南
start-local 十分钟起步摸功能，手动 Docker 控版本细节做兼容验证。ES9 的升级决策建议分三步走——测试环境验证（本文）→ 压测对比（esrally）→ 生产灰度升级（先备份！整个链路里最容易被忽略的是备份：升级失败能回滚的前提，是快照真的存在。你们开始评估 ES9 了吗？升级路上撞到什么兼容问题？评论区聊聊。环境：Ubuntu + Docker；版本 9.2.x；文中密码、token 均为示意，以实际生成为准。
2026-09-04 19:32:57
197
原创 Docker 安装 PostgreSQL 踩坑实录：镜像拉取超时，加速器全失效后的离线救命方案
海外拉取 → save 打包 → 搬运 → load 加载，对任何 Docker Hub 镜像都适用，把不稳定的"在线玄学"变成确定的离线流程。顺手把 postgres 固定版本、数据目录挂载、compose 化三个习惯养成了，后面重建环境就是十分钟的事。你们内网现在拉的动 Docker Hub 吗？用的什么加速方案？评论区交换一下 2026 年还能用的镜像源。环境：Ubuntu + Docker，镜像 postgres:14；文中密码均为示例。
2026-09-01 19:05:19
331
原创 Elasticsearch 快照备份到 HDFS（Hadoop）实战：HA 集群配置 + SLM 策略 + 速率调优
repository-hdfs 插件是前提（所有节点、版本严格一致）；HA 集群配置就是把 Hadoop 侧 xml 的四件套抄成conf.*；恢复演练和_recovery进度跟踪让备份真正可用。加上 NFS 篇，两条备份路线任选——有 NAS 用 NAS，有 Hadoop 用 HDFS，数据安全的底线是：至少有一条在跑，且真的恢复过。你们 ES 的快照存在哪？有没有人在用 HDFS 路线踩过 Kerberos 的坑？评论区聊聊。方案在生产环境验证；文中 IP、主机名、索引名均为示例，请按实际环境替换。
2026-08-31 20:20:08
465
原创 Elasticsearch 快照备份到 NAS（NFS）实战：SLM 自动化 + 365 天保留策略
UID/GID 一致性是 NFS 备份的命门（90% 的失败在这里）；是快照策略的标配（否则恢复时容易踩全局状态冲突）；备份必须配恢复演练（rename 恢复到新索引名验证）。SLM 接管调度和过期清理后，整套备份就只剩一件事：定期看一眼执行历史。你们的 ES 备份是方案？快照到 NAS、HDFS 还是 S3？有没有真的用过备份救火？评论区聊聊。方案在生产环境验证；文中索引名、IP、账号均为示例，请按实际环境替换。
2026-08-30 20:37:18
295
原创 Kafka 去 ZooKeeper 实战评估：KRaft 模式架构解析与生产落地决策指南
方向没有争议（4.0 已删掉 ZK，官方全部筹码在 KRaft）；节奏自己掌握（3.6 起迁移可用，测试环境先行、新集群直上、存量按升级计划排期）；红利按规模兑现（集群越多、分区越多，少养 zk 的收益越大）。你们生产上的 Kafka 什么版本了？开始迁 KRaft 了吗，还是在等 4.0 逼一把？评论区聊聊。基于内部技术评估整理；版本信息以 Apache Kafka 官方发布说明为准。
2026-08-28 20:07:58
463
原创 Kafka 常见问题排查手册：连接超时、Maxwell 数据倾斜、ZooKeeper 缓慢（附排障流程图）
报错信息都在指向"连接"，但根因各不相同——hosts 解析、分区策略、资源上限。排障时先分层定位（网络通不通 → 认证过不过 → 行为对不对），再对症下药，比对着报错瞎猜快得多。你踩过最离谱的 Kafka 坑是什么？是 DNS 解析还是防火墙？评论区见。排查过程来自生产环境实测；文中 IP、密码均为示例。
2026-08-27 21:11:08
666
原创 Kafka 集群开启 SASL 认证实战（三）：外置 ZooKeeper 完整版，quorum 认证 + ACL 访问控制
SASL 管身份、ACL 管路径、IP 白名单管入口。上线节奏建议：先在测试环境完整跑一遍第五节的验证清单，生产变更时按"zk → kafka → ACL"顺序推进，ACL 最后上。至此三步走完，你的 Kafka 从"裸奔"变成了"认证 + 白名单双保险"。评论区聊聊：你们的等保/安全整改还有哪些组件没过关？系列文章配置在 ZooKeeper 3.6.3 + Kafka 2.5.1 生产集群验证；示例密码请替换后使用。
2026-08-24 22:37:30
294
原创 Kafka 集群开启 SASL 认证实战（二）：外置 ZooKeeper 之 kafka 与 zk 间认证
kafka 与 ZooKeeper 之间的通道必须锁——zk 里存着 broker 元数据，裸连可被一键清空。系列第二篇：外置 ZooKeeper 场景只做 kafka 与 zk 间 SASL 认证的最小配置：zk 三段式 JAAS、zoo.cfg quorum 认证参数逐项解析、kafka 侧单段 JAAS 与 zookeeper.client.sasl，业务客户端零改造。ZooKeeper 3.6.3 + Kafka 2.5.1 验证，附踩坑清单。
2026-08-24 22:34:40
308
原创 Kafka 集群开启 SASL 认证实战（一）：内置 ZooKeeper 场景，JAAS 配置全流程
Kafka 默认裸奔，任何客户端都能生产消费。本篇是 Kafka SASL 认证实战系列第一篇：内置 ZooKeeper 场景的全套配置——五段式 JAAS 密钥文件逐段解析、server.properties 六行核心配置、四个启动脚本改造、命令行与 Spring Boot 客户端接入示例，附踩坑清单。SASL_PLAINTEXT + PLAIN 机制，Kafka 2.5 生产集群验证。
2026-08-24 22:32:29
396
原创 Elasticsearch 日志索引设计：按小时切分 + 小时内 Rollover 兜底（ILM 实战，附完整脚本）
Elasticsearch 日志索引怎么切？本文给出一套按整点小时切分 + 小时内 ILM Rollover 兜底的双层别名方案：外层 cron 每小时建索引对齐时间边界，内层 20GB/1亿文档自动 rollover 防单索引过大。ILM 策略、索引模板、cron 脚本、Java/Python 写入路由、验证与监控命令全套可复制，附踩坑清单与部署 Checklist。
2026-08-21 21:34:28
320
原创 ClickHouse 集群部署方案：双分片还是四节点？一份可落地的容量规划
本文针对 ClickHouse部署提供已验证方案，重点解决版本选择、容量规划和架构设计三大问题。推荐使用22.10.1.1877版本，兼容ARM/x86架构。提出两节点（单分片双副本）和四节点（双分片双副本）两种配置方案，分别适合月增量500GB/10MB以下和1TB/10MB以上场景，详细对比了性能、可用性和成本。核心方法是从实际写入量×20倍预留推算需求，存储容量按数据保留策略加20%索引、10%系统、35%预留系数计算。特别强调硬件配置需保留15倍余量应对实际负载波动，避免按理论值规划。方案已在实际业
2026-08-20 16:07:24
375
原创 Elasticsearch 压测利器 esrally 从安装到跑分全流程
esrally 是 Elastic 官方的 ES 压测工具。本文完整记录从 pip 安装、离线下载数据集、拉起被测节点到 benchmark-only 跑分的全流程，并给出机械盘与固态盘四组实测数据对比：平均吞吐从 11k 到 93k docs/s，磁盘类型对写入性能的影响是数量级的。文末附五个实战踩坑记录。
2026-08-19 21:09:53
382
原创 PVE 链接克隆批量部署 6 节点 Kylin + Elasticsearch 测试集群：标准时序与避坑
用一台 Kylin 模板机在 PVE 上批量铺出 6 节点 Elasticsearch 测试集群的完整时序：先清 SSH 密钥与 machine-id 再转模板，链接克隆 6 台，逐台加盘改 IP，es7/es8 分组安装，并留档 ES 8 在 Kylin 上的 glibc 兼容性证据。
2026-08-18 20:37:46
361
原创 ECharts 实现日志量异常检测：基线 ±Kσ 基带 + 灵敏度切换（Vue2 实战）
日志监控里固定阈值告警在业务高峰误报、深夜漏报。本文用 Vue2 + ECharts 实现动态基线异常检测图：堆叠面积画 ±Kσ 基带、scatter 标红越带异常点、灵敏度三档切换实时重算，并总结 y 轴负值、series 残留、dispose 等五个踩坑点。
2026-08-18 19:59:30
379
原创 5060Ti安装黑屏问题一解
首先，赞一下精粤这个品牌。但在本次的5060Ti的安装黑屏问题中，最终是靠着精粤主板官方bios的更新实现了问的完美处理。其中网易UU远程可以使用高分辨率，向日葵虽然是收费的vip版本，但也只能使用低分辨率，且不能修改。以下是本次用到的软件，大家酌情选择使用，如提示输入密码，鼠标点击默认输入。4、尝试了DDU，安全模式下清理所有驱动，重新安装步骤3中的所有驱动，结果和步骤3一样。5、上精粤官方网，找到使用的主板信号，看到了有4月份的bios更新。另：切记主板型号不一样，不能直接使用，千万找对应的主板型号。
2025-07-04 17:17:27
2208
原创 dbeaver 查询clickhouse，数据库时间差了8小时
通过上述调整，99% 的时区偏差问题可解决。若问题持续，可结合服务器日志与客户端配置进一步排查。或查询业务表的时间字段，确认显示时间与本地时间一致。若仍偏差，检查操作系统时区（）是否与 ClickHouse 服务端一致。
2025-06-10 11:29:04
2168
原创 postgres的docker版本安装
测试和开发需要用到postgres，越快越好，想到了用docker进行安装。这是要配代理呗，尝试各种代理方式和镜像的配置，各种大学的，耗费无数时间，未果。最后，用离线安装搞定。我导出的postgres的文件放在网盘大家可以使用，也就不用配置了。
2025-05-16 11:19:17
996
原创 ComfyUI反推提示词工作流
点击“加载图像”中的upload，随便选个图片，然后点击“运行”看反推提示词和翻译的效果吧。翻译使用的是google引擎，无法访问的小伙伴请先禁用翻译部分。快捷键：ctrl+b。下载后解压，连同目录一起放在comfy\custom_nodes目录下。
2025-03-24 22:24:03
3114
原创 基于Flux模型的多模态可控图像生成工作流实践
通过Flux.1的多模态架构与ControlNet++的高效奖励机制，开发者能够在Canny与Depth控制间实现动态平衡，兼顾结构精确性与空间真实性。未来可进一步探索语义分割、光流估计等控制模态的融合，推动生成式AI在影视、工业设计等领域的落地应用。
2025-03-23 22:32:31
1224
原创 Flux 文生图技术解析与部署实践
FP8 精度模型通过动态范围压缩技术，将显存需求从 FP16 的 23.8GB 降低至 11.9GB[^用户数据]，同时保持 95% 以上的生成质量。采用 E4M3 浮点格式实现显存-精度平衡，特别适合 RTX 4070Ti 等 12-24GB 显存设备。，通过结合扩散模型与 Transformer 的优势，实现了文本到图像生成领域的突破性进展。采用 120 亿参数规模的多模态混合架构，通过流匹配（Flow Matching）技术优化数据分布路径。工作流和模型均经过测试，可正常进行文生图操作。
2025-03-16 22:55:55
1221
原创 ComfyUI一键换衣-服装一致性
从好网上的文章中下载到了一键换装的工作流，其实也就是服装一致性。跑了几次下来，感觉和服装上的一致性还是有点差异的，不知道是模型替换的不对，还是参数设置问题。参数上没有做任何调整，提示词上做了调整，还有在模型加载的时候发现了一些模型找不到，因此将这些缺少的文件进行了补充。clip_l.safetensors我用ViT-L-14-TEXT-detail-improved-hiT-GmP-TE-only-HF.safetensors代替.上面的模型在不同的节点可能重复使用，代替的地方自己自行替换一下。
2025-03-03 20:58:10
1772
原创 ControlNet 1.1系列模型解析与下载指南
ControlNet 1.1是Stable Diffusion生态中功能强大的图像控制插件，包含14个生产级模型，支持建筑、设计、动画等多场景创作。。
2025-02-26 22:03:17
8383
原创 最简-win10部署ollama，deepseek开放给内网
重启ollama，右下角图标退出，从开始菜单再进入一次Ollama，看右下角图标出现就行。命令行执行命令：ollama pull deepseek-r1:1.5b。我的电脑（此电脑）-右键-属性-高级系统设置-环境变量。在局域网机器通过浏览器，访问部署ollama的服务，选择win下载，安装，一直下一步，装完。变量名：OLLAMA_HOST。看到如下界面，api服务可用。看到如下内容模型下载完毕。变量值：0.0.0.0。
2025-02-08 14:32:00
525
原创 提升多电脑办公效率神器——InputDirector深度体验
如果你经常需要同时操作多台电脑，InputDirector绝对是你的必备工具！它不仅提升了我的工作效率，还让我的桌面更加整洁，再也不用被一堆键盘鼠标缠住了。官网地址InputDirector官网备用下载(访问密码: 7846 点击输入框自动填写密码)适用系统#效率工具 #多电脑控制 #InputDirector #办公神器 #软件推荐。
2025-02-07 20:15:36
2914
1VMware Unlocker for OS X 1.3
2014-12-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人