自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(113)
  • 收藏
  • 关注

原创 GitLab 单机私有化部署文档(基于 Docker 环境)

本文档介绍了如何在独立的 Linux 服务器上,使用原生的Docker部署和运维单机版 GitLab (Omnibus)。

2026-06-15 17:21:32 308

原创 Kubernetes Higress 安装与测试文档

本文档介绍如何在 Kubernetes 集群中使用 Helm 以模式部署 Higress,并通过一个简单的 Nginx 应用验证路由是否生效。文档整体结构参考现有安装文档,但安装方式切换为 Higress 官方 Helm Chart,适用于裸机和自建 Kubernetes 集群场景。

2026-06-08 12:28:06 181

原创 Neo4j RPM 安装与多实例配置说明

执行以下命令导入 的 GPG Key:执行示例:2. 根据版本配置 Yum 仓库按需选择对应版本的仓库配置文件 。2.2 Neo4j 4.42.3 Neo4j 3.53. 以 Neo4j 4.4 为例进行配置执行以下命令:执行过程示例:查看配置文件:输出示例:4. 安装 Neo4j 4.45. 创建自定义目录根据实际情况创建实例数据目录、插件目录、日志目录和导入目录:6. 复制 APOC 插件将对应版本的 插件复制到自定义插件目录中:7. 创建自定义配置目录复制默

2026-06-04 20:24:18 341

原创 Kubernetes Loki 日志收集系统部署文档 (读写分离模式 + Ceph S3 + Higress 日志分离

本文档详细介绍了在Kubernetes集群中部署高可用Loki日志系统的读写分离架构方案,主要特点包括: 采用读写分离架构(Write/Read/Backend)支持TB级日志处理 使用Ceph S3对象存储作为后端存储 实现Nginx日志与其他业务日志的物理分离 部署步骤包含: Ceph S3(RGW)环境准备与配置 创建保留策略的StorageClass 通过OBC为Loki创建专属Bucket和凭证 Helm安装Loki的SimpleScalable模式 详细配置存储schema和日志保留策略 关键配

2026-06-02 01:28:08 307

原创 Kubernetes Rook-Ceph 高可用存储部署文档

Ceph 需要在工作节点(Worker Nodes)上拥有未格式化的裸盘(Raw Devices)或独立的分区。例如/dev/sdb。在目标节点上执行lsblk -f命令。FSTYPEMOUNTPOINTFSTYPE如果磁盘有残留的文件系统签名,可以使用(替换为实际盘符) 进行擦除。:所有 K8s 节点需要安装lvm2包。:Ceph 对内存和 CPU 消耗较大,建议每个 OSD(对应一块硬盘)预留 2GB 内存。

2026-05-29 18:30:47 272

原创 Kubernetes 部署 GitLab Runner 及 Java CI/CD 实践指南

安全性高:Deploy Token 只与当前项目绑定,且仅具备读镜像权限,不会泄露个人账号权限。稳定性强:Token 永久有效,无论未来 K8s 何时重启 Pod 或扩容,拉取镜像都不会报错。CI 解耦:CI 流水线脚本无需处理权限生成逻辑,保持干净整洁。

2026-05-26 08:44:23 476

原创 kube-prometheus-stack 安装配置文档

本文档介绍了在 Kubernetes 集群中安装和配置监控组件的两种方式(在线安装和离线/网络不佳情况下的安装),以及如何访问 Grafana 仪表盘。

2026-05-22 11:40:41 370

原创 安装 KubeSphere

KubeSphere Core (ks-core) 是 KubeSphere 的核心组件,为扩展组件提供基础的运行环境。KubeSphere Core 安装完成后,即可访问 KubeSphere Web 控制台。

2026-05-21 22:02:23 246

原创 Rancher 安装与配置文档

本文档介绍如何在 Kubernetes 集群中使用 Helm 安装 Rancher 平台。

2026-05-21 17:09:26 216

原创 Cert-Manager 安装与配置文档

2025年1月。

2026-05-20 17:51:41 430

原创 Kubernetes Nginx Ingress Controller 安装与测试文档

本文档介绍了如何使用 Helm 在 Kubernetes 集群中部署 Nginx Ingress Controller。为了应对国内网络限制,文档中包含了离线获取 Chart 包以及替换镜像源的完整解决方案,并采用了DaemonSet的高性能部署模式。最后提供了一个 Nginx 应用作为测试案例。

2026-05-19 15:34:47 297

原创 es宕机以后分片重新分配失败解决方法

这个命令只会重新分配异常的索引分片。

2025-12-03 23:37:34 139

原创 clickhouse查看消耗cpu 的语句

【代码】clickhouse查看消耗cpu 的语句。

2025-12-03 23:35:54 392

原创 clickhouse查看消耗cpu 的语句

【代码】clickhouse查看消耗cpu 的语句。

2025-12-03 23:35:15 130

原创 clickhouse查看消耗cpu 的语句

【代码】clickhouse查看消耗cpu 的语句。

2025-11-13 20:39:23 157

原创 es通过分片迁移迁移解决磁盘不均匀问题

【代码】es通过分片迁移迁移解决磁盘不均匀问题。

2025-09-11 10:58:53 269

原创 es负载高的时候需要记录的信息

vGET _tasks?GET _tasks?v。

2025-05-30 16:13:37 190

原创 es 清理fileddata缓存方法

【代码】es 清理fileddata缓存方法。

2025-05-14 11:46:08 202

原创 Canal mysql to mysql 增加 online 库同步配置指南

【代码】Canal mysql to mysql 增加 online 库同步配置指南。

2025-05-07 21:47:58 727

原创 canal mysqltomysql增加同步的库操作

增加 rdb/online_mapping.yml 配置文件。3、修改instance 配置,增加过滤库,多个用,号隔开。srcDataSources 增加 online 相关配置。配置canal.adapter 增加online 库。canalAdapters 增加online 相关配置。1、停止canal.adapter 服务。备份数据库online,导入目标mysql。增加配置online\…

2025-05-07 19:14:38 348

原创 canal同步mysql到mysql主要配置

启动 canal.deployer 会自动注册到admin。启动命令,需要先初始化数据库。配置instance。

2025-05-05 14:42:46 294

原创 mysql sql语句orderby,groupby优化

1、优化sql ,问题sql是一个分页查询。实际只需要取10行,从rds负载和sql来看,扫描了很多行,说明走错了sql,走了排序字段索引;这个是5.7的优化器行为;可以通过参数进行优化。

2025-03-27 14:30:25 276

原创 elsticsearch 通过reindex修改shards

elasticsearch reindex 索引。

2025-03-20 14:42:47 381

原创 es扩容节点以后写入数据量增加1倍

这个索引记录的是 节点的状态 统计了每个节点 索引数 查询情况 资源使用情况等等很多的数据 节点多 shard 多 数据量就大, 不需要禁止掉。es扩容一倍的数据节点以后 写入数据量增加1倍。业务反馈业务访问量没增加。禁止以后qps就降低了。配置监控数据只保留1天。

2025-03-12 13:30:21 561

原创 es 慢查询引起 cpu报警处理方法

查看任务详情,id要是父节点。2、设置全局的搜索timeout。1、查询语句配置超时时间。分析执行时间长的语句。

2025-03-06 23:33:11 434

原创 查看es当前负载是那些任务引起

【代码】查看es当前负载是那些任务引起。

2025-02-19 10:22:29 176

原创 elasticsearch 备份恢复步骤

5、恢复备份的方法,恢复之前关闭索引(如果是增量恢复),或者清空索引数据。如果需要把备份备份到自定义仓库中,以oss为例子,创建方法。返回, 仓库名是aliyun_auto_snapshot。如果是增量恢复关闭索引的方法。2、查看当前备份文件。

2025-02-14 01:35:02 646

原创 redis监控会不会统计lua里面执行的命令次数

执行一次lua 脚本, 虽然内部对数据库操作了1w次, 但是从redis 监控上看只是执行了一次lua脚本, lua内部对数据库的1w次不会记录到监控。问题:redis lua里面执行的命令会不会计算到监控的qps中。如果通过monitor观看可以看到。lua 脚本中对数据库操作了1w次。

2025-01-15 16:09:47 514

原创 GEORADIUS在监控上归类是写请求

在字面意思上是读请求, 但是redis 监控把他归类为写请求。GEORADIUS: 查询指定位置附近的其他位置元素。在分析问题的时候避免这个坑。

2025-01-15 15:23:52 233

原创 es,单个节点磁盘使用率高

超过95%,系统会对阿里云Elasticsearch集群中的每个索引强制设置read_only_allow_delete属性,此时索引将无法写入数据,只能读取和删除对应索引。单个节点分片过多导致的磁盘使用率高87,目前以及自动触发均衡机制(磁盘使用率超过90)恢复正常,es自己做了均衡分配恢复正常。超过90%,阿里云Elasticsearch会尝试将对应节点中的分片迁移到其他磁盘使用率比较低的数据节点中。磁盘使用率不均匀,一般是因为存在大分片,分片数和机器数不匹配引起的。这次出现的问题排除了,分片问题。

2025-01-14 20:02:04 721

原创 clickhouse query_log字段解析

开发遇到插入分布表,等待30秒以后,才能查询出来数据,可以通过这种方式,分析插入分布试表和本地的时间差。数据插入到本地表才能看到数据。标识一个请求query的id,插入分布试表和本地表的一样。类似traceid,可以通过查询这个字段相同的数据,分析一条插入请求。

2025-01-13 10:35:28 282

原创 es 单个节点cpu过高

是因为节点没有做fullgc,导致jvm中引用增多没有释放,会导致cpu使用率升高。后台手动执行fullgc后,节点cpu恢复正常。建议对集群其他节点也做下fullgc。观察这个节点的jvm使用率比较高,怀疑是jvm内存没释放导致内存寻址效率低,引起cpu过高。es 单个节点cpu一直持续很高,其它节点cpu不高。解决方法:手动执行fullgc,使用jmap分析线程jvm。

2025-01-08 18:15:52 723

原创 clickhouse query_log 常用查询语句

3、查询某一段时间内指定sql类型的执行次数分布。查看某一段时间内sql执行类型的分布。查看某一类型语句指定时间内平均执行时间。1、查询一段时间耗时超过3秒的语句。查看相同语句再不同节点的执行速度。2、查询一段时间报错的语句。

2025-01-03 17:21:30 1153

原创 clickhouse写分布式表,等一段时间才能看到数据。

distributed_directory_monitor_batch_inserts改为0 解决问题。背景:开发反馈insert 插入分布式表,等1分钟左右,才能看到数据。方法2、直接写本地表。原因写分布式表是异步的方式写本地表。查看所有分布表的所有参数。

2025-01-03 15:42:31 821

原创 MySQl io相关优化

2、调整innodb_io_capacity和innodb_io_max_capacity参数,分别调整到50000和100000。1、将innodb_page_cleaners参数从8调整到16,同时将innodb_buffer_pool_instances参数也调整到16。【原因分析】刷脏数据慢导致实例hang,进而引发HA切换,innodb_page_cleaners参数不足,导致刷脏线程不足。3、将innodb_lru_scan_depth参数调整到20000。4、将redo日志大小修改为12G。

2024-12-27 15:43:53 358

原创 es 变黄一般处理方法

2、重试分片分配,一般可以自动重试。可以看到有545 个分片没分配。

2024-12-06 19:13:14 303

原创 Mysql修改字符集

1、转换字符集的命令是不是 alter table t2 convert to character set utf8mb4;3、 最好再看下此表所有列是不是都是utf8字符集,有些其他字符集或binary转成utf8mb4有可能产生乱码。2、因为这个命令会锁表,应该使用dms的无锁变更。修改表的字符集为utf8mb4。4、测试环境做好验证测试。开发反馈插入数据报错。

2024-11-25 14:33:16 351

原创 MySQL OnlineDDL添加字段

DDL操作执行时需要修改表的元数据(metadata),有可能会遇到等待表元数据锁的情况(waiting for table metadata lock),该情况的处理方式请参见解决MDL锁导致无法操作数据库的问题。但即使DDL支持Inplace选项,某些操作在整个执行过程中也会部分涉及到Copy Table,例如上表中的添加列操作。是否需要Copy Table:对应DDL语句的Algorithm选项,通过Copy Table的方式执行DDL。DDL执行期间会占用更大的磁盘空间和消耗更多的I/O。

2024-11-07 14:52:55 567

原创 elasticsearch 添加删除字段

添加字段对业务无影响,只是修改改了元数据。

2024-11-05 16:35:12 664

原创 es 数据清理delete_by_query

wait_for_completion=false 放后台执行。conflicts=proceed 遇到冲突继续执行。slices=36 一共的副本数量 主和副本总数。scroll_size=2000 分批的数量。通过调整这个两个参数控制性能和es压力。

2024-11-05 15:31:45 947

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除