自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(60)
  • 收藏
  • 关注

原创 Kubernetes 网络三部曲:CNI、kube-proxy 与 CoreDNS 是如何协作的?

是“路和车”——解决“能不能到”(底层物理网络和路由)。kube-proxy是“交警和调度员”——解决“找哪个 IP 去”(虚拟 IP 转换和负载均衡)。CoreDNS是“导航地图”——解决“那个 IP 叫什么名字”(服务发现,方便代码不写死 IP)。三者配合,Kubernetes 的网络才算真正可用。下次再遇到“网络不通”的问题,按这个思路逐层排查:先看 CNI(Pod IP 能不能通),再看 kube-proxy(Service 能不能通),最后看 CoreDNS(域名能不能解析)。

2026-09-04 14:08:41 324

原创 Docker 自定义网络中容器无法通过宿主机 IP 访问服务的完整排障记录

宿主机能连接 Nacos(返回 404,说明服务在)宿主机也能连接Docker 容器ontostar通过无法连接 NacosDocker 容器ontostar通过无法连接 MySQL三个容器(ontostarnacosmysql)都在同一个自定义网络中在同一个用户自定义的桥接网络中,容器之间理应可以通过 IP 地址直接通信,而不需要经过宿主机物理网卡。宿主机 iptables FORWARD 链被阻断(例如默认策略为 DROP,或没有 Docker 插入的允许规则)容器内服务监听地址错误。

2026-06-01 15:59:33 429

原创 docker部署Kingbase

KingbaseES通过Docker部署是当前的安装方式,尤其适合开发测试和快速验证场景。整个过程只需准备镜像、配置挂载目录并启动容器,,且无需处理复杂的系统依赖问题。以下基于主流版本KingbaseES V9(兼容Oracle模式)的实战经验,整理出标准化部署流程及高频问题解决方案,内容经过多环境验证,可直接用于生产环境参考。

2026-06-01 15:51:50 288

原创 从 K8s Device Plugin 到 Volcano 多元算力管理:GPU 显存共享实战与深度解析

在云原生 AI 和大数据场景下,Kubernetes(K8s)的原生资源管理模型在面对 GPU 等异构算力时显得力不从心。K8s 的 Device Plugin 机制虽然提供了扩展能力,但默认只能以 “整卡” 为单位分配 GPU,导致资源利用率低下。Volcano 作为云原生批量计算引擎,通过扩展 Device Plugin 机制,实现了包括 GPU 显存共享在内的多元算力精细化管理。

2026-03-06 16:11:09 731 2

原创 从实验到生产:MLOps 核心技术栈全景解析

摘要:本文介绍了MLOps技术栈中四个核心组件及其协同应用。MLflow负责实验跟踪和模型管理,KServe提供生产级模型部署能力,Airflow实现工作流编排,Volcano处理高性能批处理调度。通过将这些工具有机结合,可构建自动化的机器学习全生命周期管理平台:从数据准备、模型训练、评估部署到监控反馈。这种组合方案能有效解决模型开发到生产部署中的版本混乱、资源争抢、流程复杂等问题,提升AI应用的迭代效率和系统稳定性。

2026-03-04 11:14:30 459

原创 基于k8s的KServe 控制平面生产级部署最佳实践:基于 Gateway API 的标准化流量管理方案

本文介绍了KServe与GatewayAPI结合的标准部署模式,用于构建生产级AI模型推理服务。通过对比传统Ingress方案的局限性,详细阐述了GatewayAPI在标准化、多协议支持和生产级特性等方面的优势。文章提供了从环境准备到实战部署的完整流程,包括创建GatewayClass、Gateway、InferenceService和HTTPRoute等关键步骤,并分享了HTTPS加密、灰度发布和弹性扩缩容等生产级优化配置。该方案实现了模型服务的高可用、易运维和标准化管理,是KServe官方推荐的企业级A

2026-02-10 15:38:21 647

原创 手把手教你:用 MLflow 开发机器学习模型并部署到 Kubernetes

在机器学习工程中,“模型开发 - 部署上线” 的全流程落地是核心痛点。本文基于 MLflow 3.9.0 版本,结合 KServe 和 MLServer,详细拆解从模型训练、超参调优到 Kubernetes 部署的完整步骤,附完整命令和配置文件,新手也能轻松上手。

2026-02-04 10:48:40 913

原创 一问读懂基于 MLflow Tracking Server 的核心功能与实战

摘要:MLflow Tracking Server是解决机器学习团队协作痛点的关键工具,可将实验管理从单机模式升级为团队协作模式。本文从实战角度介绍了:1)5分钟快速部署基础服务器和团队共享配置;2)不同规模团队的存储方案选择(SQLite/PostgreSQL/远程存储);3)生产环境必做的安全防护措施(HTTPS/身份认证/来源管控);4)大型项目优化技巧(版本兼容/超时处理/存储优化)。MLflow Tracking Server能实现实验数据集中管理、结果实时共享,支持从小规模测试到大规模生产的全场

2026-02-03 11:44:18 766

原创 MLflow 与 Keras 3.0 深度集成:一站式搞定深度学习实验跟踪与模型管理

本文介绍了MLflow与Keras3.0的集成应用,解决深度学习开发中的实验跟踪和模型管理问题。Keras3.0支持TensorFlow、JAX、PyTorch多后端切换,结合MLflow可实现自动日志记录、模型版本管理等核心功能。文章详细讲解了四大集成场景:自动日志记录(一行代码实现)、手动精细日志控制、模型保存/加载以及企业级模型注册表管理。通过MLflow的钩子机制,可以自动捕获训练参数、指标、模型结构等关键数据,支持从个人实验到团队生产的全流程管理。所有代码示例均可直接运行,帮助开发者快速实现深度学

2026-02-02 17:45:23 651

原创 机器学习可视化+MLflow实战指南:告别混乱,让模型分析可追溯

Notebook的单元格共享同一个Python内核,变量、数据会保存在内存中——即使你修改了数据处理代码,若未重新运行生成可视化的单元格,图表仍会基于旧数据生成。举个真实场景:你按顺序运行了“数据加载→数据清洗→生成相关性热图→模型训练”;后来发现数据清洗漏了一个异常值,修改代码后重新运行了“数据清洗”和“模型训练”;但忘了重新生成相关性热图,最终用“旧热图”分析特征重要性,导致模型优化方向完全错误。

2026-01-29 15:23:47 694

原创 基于 MLflow+Optuna 的随机森林超参数调优与实验追踪

本文结合 MLflow 和 Optuna 实现了随机森林超参数调优的全流程实验追踪,核心优势:自动化调优:Optuna 自动探索超参数空间,无需手动枚举,效率更高;层级化追踪:MLflow 嵌套运行实现 “总调优过程 - 单试验” 的层级管理,实验记录清晰;可复现性:所有参数、指标、模型均被记录,可随时回溯和复现最佳实验结果。该方案可扩展到其他机器学习模型(如 XGBoost、LightGBM 等),只需调整目标函数中的模型类型和超参数搜索空间,是机器学习实验管理的通用解决方案。

2026-01-21 16:26:34 806

原创 MLflow 零基础快速入门:轻松追踪你的机器学习实验

核心价值:MLflow Tracking 可一站式解决实验参数、指标、模型的追踪与管理,自动日志适合快速上手,手动日志适合精准控制;关键操作:通过创建实验,开启自动日志,管理手动运行,加载模型;可视化:启动 MLflow 服务器后,通过 UI 可直观查看所有实验细节,大幅降低实验复现和对比成本。掌握这些核心用法后,你可以将 MLflow Tracking 集成到日常机器学习开发中,让实验过程更规范、可追溯。

2026-01-15 11:13:48 1066

原创 实战解析|EFK 日志系统数据同步问题全解(附核心配置模板)

EFK 数据同步问题的解决,并非单一组件的优化,而是全链路的协同配置与监控,核心围绕「不丢失、不重复、低延迟、可监控」四个目标展开:从源头出发,通过 Fluentd 的 file buffer、断点续传、幂等传输,保障采集数据不丢失、不重复;优化传输链路,通过批量写入、指数退避重试、ES 专用写入节点,保障数据投递可靠;强化 ES 存储,通过合理的索引策略、副本容灾、translog 持久化,保障数据存储的完整性和同步效率;

2026-01-14 10:51:30 978

原创 AI重塑云计算与运维:从被动响应到智能自治的进化之路

在云计算与运维行业,“凌晨三点排查故障”“资源利用率忽高忽低”“安全漏洞难以及时发现”曾是运维工程师的常态痛点。而AI技术的深度渗透,正彻底颠覆这一局面——从故障的智能预判、资源的动态调度到安全的主动防御,AI让云计算与运维从“被动响应”迈向“智能自治”。本文将从核心场景出发,拆解AI在该行业的落地逻辑与实战价值。

2025-10-28 09:10:00 1510

原创 The node was low on resource: ephemeral-storage. Container kafka-manager was using 108Ki, which exce

完整日志:Evicted <invalid> kubelet The node was low on resource: ephemeral-storage. Container kafka-manager was using 108Ki, which exceeds its request of 0从事件日志来看,核心问题是:节点临时存储资源不足导致 Pod 被驱逐Pod 被驱逐的原因是 容器使用的临时存储超过了其请求的额度(请求为 0)。当节点临时存储紧张时,Kubernetes 会优先驱逐那些未设置资

2025-10-21 11:39:28 351

原创 Readiness probe failed: Get “http://10.244.196.163:9000/“: context deadline exceeded (Client.Timeout

问题现象:使用service暴露端口,浏览器可以访问,但是使用k8s内部的探针检查机制反馈失败问题原因:kubelet 访问 Pod 的 9000 端口超时,应用未在规定时间内响应探针请求。结合 Pod 被频繁驱逐(重启),可能是应用还没完全启动就被探针检查,或启动后因资源问题无法响应。

2025-10-21 11:30:03 973

原创 K8s部署效率神器:Helm实战指南

Helm作为Kubernetes的包管理工具,通过"打包化、版本化、可配置化"三大核心能力,显著提升应用部署效率。本文详解Helm技术要点,包括Chart文件结构和核心概念,并通过Nginx和MySQL的实战案例,展示其便捷性。对比手动部署,Helm在多环境适配、版本管理等方面效率提升70%-90%,支持一键回滚和CI/CD集成。文章还提供常用命令速查和进阶技巧,如自定义Chart开发、私有仓库搭建等。Helm有效解决了K8s原生部署的碎片化问题,是提升运维效率的必备工具。

2025-10-21 10:15:41 1139

原创 SkyWalking运维实战指南:配置解析与日常运维全攻略

本文提供SkyWalking分布式链路跟踪工具的运维指南,涵盖核心配置解析、日常运维操作和常见问题排查三大模块。重点解析Collector、WebApp和Agent三大组件的关键配置参数,推荐生产环境使用Elasticsearch存储方案。日常运维包括服务启停、日志管理、配置更新和数据备份等标准化流程。针对Agent无法连接、链路数据缺失和性能卡顿等常见问题,给出具体排查步骤和解决方案。最后强调配置适配、主动监控和快速定位三大运维原则,建议将关键指标纳入监控系统,实现SkyWalking的稳定运行。

2025-10-20 16:09:34 1234

原创 SkyWalking实战:从原理到落地的链路跟踪指南

本文介绍了分布式链路追踪系统SkyWalking的核心原理与实战部署。SkyWalking通过Agent、Collector、WebApp三大组件实现服务调用的全链路追踪,采用"链路ID+跨度ID"标记请求路径。文章详细演示了基于MySQL存储的SkyWalking 9.4.0部署流程,包括Collector配置、WebApp启动和Agent挂载方法,并提供了关键参数说明。

2025-10-20 15:52:41 1849

原创 使用 Kubernetes(k8s) 搭建 Redis 3 主 3 从集群教程

本文介绍了在Kubernetes中使用StatefulSet部署Redis集群的技术方案。重点阐述了三个关键技术选型:1)使用StatefulSet保证Pod稳定网络标识、有序部署和专属持久存储;2)采用Headless Service支持节点间直接通信;3)通过ConfigMap实现配置与镜像解耦。实战部分详细展示了部署流程,包括ConfigMap配置、Headless Service创建、RBAC权限设置、StatefulSet构建以及Job任务自动初始化集群。方案最终实现了3主3从的Redis高可用集

2025-09-29 22:15:19 812

原创 使用kubeasz的ezdown 搭建k8s环境出现:已发出 HTTP 请求,正在等待回应... 403 F orbidden2025-09-23 :21 错误 403:Forbidden

摘要:用户在使用ezdown脚本下载Docker二进制文件时遇到403禁止访问错误。问题源于脚本中wget命令的user-agent参数不准确。解决方法包括:1)访问清华源镜像站确认地址;2)通过浏览器调试面板获取正确的user-agent值;3)修改脚本第164行相应参数。修改后问题解决,欢迎在评论区讨论其他相关问题。(98字)

2025-09-23 10:20:12 444

原创 使用 kubeasz的ezdown部署单节点集群(aio),作为k8s集群的测试或开发环境教程

摘要:ezdown是kubeasz项目的辅助脚本,用于简化Kubernetes集群安装过程。支持下载脚本、二进制文件、系统包和容器镜像,提供容器化运行环境。主要功能包括:一键下载所有资源(-D选项)、启动kubeasz容器(-S选项)、自定义组件版本等。特点包括离线安装支持、中国镜像源优化、容器化隔离和幂等操作。典型使用流程为先下载资源再启动容器部署集群,适合快速搭建k8s开发测试环境。脚本包含完善的错误处理和日志功能,支持CentOS/Ubuntu系统。

2025-09-14 11:35:15 1316 3

原创 Nginx生产级优化配置全解析和配置原因解析

资源最大化:让 Nginx 充分利用系统的 CPU 核心、文件描述符和网络连接容量。效率极致化:通过sendfiletcp_nopush和keepalive等技术,减少不必要的内存拷贝、网络数据包和连接建立开销。稳定性优先:通过合理的超时和缓冲区设置,保护 Nginx 自身不被恶意或异常的请求拖垮,确保服务稳定。可观测性与成本的权衡:在性能和详细的访问日志之间做出符合业务需求的权衡。请记住,所有数值都应作为起点。最科学的做法是结合监控(如)和压测工具,观察这些参数是否适合你的实际流量模式,并持续进行调整。

2025-09-12 23:02:09 978

原创 详细解读k8s的kind中service与pod的关系

Kubernetes中Pod和Service是核心概念:Pod是最小运行单元,托管容器但生命周期短暂,IP地址动态变化;Service提供稳定访问端点,通过固定虚拟IP和标签选择器实现服务发现与负载均衡。Pod负责运行应用实例,Service则确保这些实例可被可靠访问,二者协同工作保障应用的高可用性。

2025-09-10 13:25:56 744

原创 一文读懂k8s的pv与pvc原理

文章摘要: Kubernetes通过PV、PVC和StorageClass实现存储资源的解耦与动态管理。PV是预配置的存储资源,PVC是应用对存储的声明,StorageClass则定义了动态创建PV的模板。两者绑定后供Pod使用,支持静态供给(管理员预配PV)和动态供给(按需自动创建PV)

2025-09-01 21:47:30 1068

原创 详谈OSI七层模型和TCP/IP四层模型以及tcp与udp为什么是4层,http与https为什么是7层

本文对比了OSI七层模型与TCP/IP四层模型的架构差异。OSI七层模型作为理论框架,包含物理层至应用层各层功能;而TCP/IP四层模型作为实际应用标准,整合为网络接口层、网际层、传输层和应用层。重点分析了TCP/UDP作为传输层协议的核心功能(端口标识、连接管理、数据分段等),以及HTTP/HTTPS作为应用层协议的特点(定义Web交互规则,依赖下层传输服务)。结论指出:分层思想的核心是下层解决"如何传输",上层关注"传输什么";TCP/IP的应用层对应OSI的会话/表示/应用三层功能,二者在最高层的定位

2025-07-25 22:14:06 1761

原创 MountVolume.SetUp failed for volume “bpffs“ : hostPath type check failed: /sys/fs/bpf is not a direc

【摘要】Calico的calico-node Pod因无法挂载/sys/fs/bpf导致启动失败。解决方法包括:1)检查/sys/fs/bpf是否存在,不存在则升级内核或手动创建目录并挂载bpffs;2)通过mount命令验证挂载状态,将挂载配置写入/etc/fstab确保持久化;3)删除calico-node Pod触发重建。根本原因可能是内核版本过低(需≥4.15)、bpffs未正确挂载或安全策略限制。操作步骤涵盖目录检查、内核升级、文件系统挂载及Pod重建等关键环节。(150字)

2025-07-10 21:14:48 747

原创 保姆级搭建harbor私有仓库与docker-ce教程与使用教程

本文详细记录了Harbor私有仓库的搭建过程。主要内容包括:配置主机名和hosts文件;导入Harbor镜像并解压安装;创建HTTPS证书(本次使用HTTP协议);修改harbor.yml配置文件;执行预安装检查并启动项目;设置开机自启动;安装配置Docker服务;最后测试登录Harbor仓库。整个过程涵盖了从环境准备到服务部署的所有关键步骤,最终通过docker login验证安装成功,浏览器也可正常访问。

2025-07-10 20:34:22 939

原创 DNS解析优化指南

DNS解析优化是指通过改进域名到IP地址的转换过程,提升解析速度、可靠性和安全性,从而改善网站访问体验。:用户首次访问时需等待DNS查询结果。:DNS服务器故障可能导致网站不可用。

2025-05-20 09:50:52 2200

原创 Ansible搭建教程,模块简介与模块使用案例

ansible部署与模块简介和案例

2025-05-19 12:32:48 1077

原创 一文带你看懂使用ansible的palybook的方式实现 搭建ceph分布式集群搭建,包含部署 CephFS(文件存储),部署 RGW(对象存储)

Ansible 搭建教程与实战。

2025-05-19 11:08:00 823

原创 手把手搭建 Ceph 分布式存储集群的详细教程(以 Ceph Quincy 版本为例,基于 Ubuntu 22.04)

ceph orch daemon add osd node1:/dev/sdb # 将 node1 的 /dev/sdb 加入集群。:MDS(元数据服务器,用于CephFS)、RGW(对象存储网关)。:4核CPU,8GB内存,每块硬盘建议≥1TB(SSD/HDD)。:至少3个节点(奇数个,如3/5),负责集群状态监控。:2个节点(与 Mon 同节点或独立),负责集群管理。:≥3个节点,每个节点挂载至少1块硬盘,负责数据存储。:万兆网络(或千兆最低),所有节点需互通。确保所有节点的防火墙已禁用。

2025-05-17 22:28:39 2249

原创 数据库生产级的故障排查指南与防攻击指南

- 需启用performance_schema。-- 超过2秒的查询记录。# 使用 pt-table-checksum(Percona工具)-- 查看当前锁状态(MySQL InnoDB)-- 使用 EXPLAIN 分析查询计划。# 查看CPU和内存使用(Linux)# MySQL配置文件(my.cnf)-- 启用审计日志(MySQL企业版)-- 分析慢查询(直接查看日志文件)-- 查看表的索引信息(MySQL)-- 查看从库同步状态(MySQL)-- 启用慢查询日志(MySQL)

2025-05-12 10:55:31 787

原创 shell脚本实现docker运行镜像挂载

-name 给运行的镜像取名 -v /宿主机/目录:/容器内/目录 镜像名。完整shell脚本(包含Redis,MySQL,es,nginx)docker启动nginx(当前使用docker默认网络)根据本文脚本展示内容可以实现多种容器挂载。有问题可以在评论区讨论。若有需要,可自行扩展。

2025-05-12 10:03:56 347

原创 一文带你读懂k8s中的Flannel 原理

Flannel跨节点通信 和 数据包流转 的关键流程

2025-05-11 22:02:07 1139

原创 k8s的flannel生产实战与常见问题排查

其核心功能是分配 Pod IP 并建立覆盖网络(Overlay Network),支持多种后端(Backend)如 VXLAN、host-gw、UDP 等。:集成 Prometheus 监控 Flannel 指标(需配置 ServiceMonitor)。:确保 VXLAN(UDP 8472)或 host-gw(IP 协议)端口开放。:Flannel 自身不提供网络策略,需结合 Calico 或 Cilium。:仅在测试环境使用 UDP,生产环境优先选择 VXLAN 或 host-gw。

2025-05-11 17:29:59 1458

原创 Prometheus生产实战全流程详解(存储/负载/调度篇)

本文提供了全面的生产配置模板和性能优化策略,涵盖了存储架构、负载治理、调度优化和异常自愈等多个方面。通过详细的存储拓扑设计、关键参数调优和远程存储实战,显著提升了写入吞吐量、查询延迟和磁盘空间利用率。负载治理部分介绍了动态分片方案、负载熔断策略和高基数拦截方案,有效管理了百万级Series。调度优化部分则通过优先级调度、自适应抓取和Kubernetes调度策略,实现了精准采集控制。此外,还提供了异常自愈模式库,包括存储故障处理流程、自动恢复脚本和关键健康检查项,确保了系统的稳定性和自愈能力。最后,通过生产验

2025-05-09 21:27:01 951

原创 手把手教你搭建MySQL高可用解决方案(MHA)

搭建MySQL高可用解决方案(MHA)

2025-05-08 13:24:06 1072

原创 MySQL数据库高可用(MHA)详细方案与部署教程

MySQL MHA(Master High Availability)高可用解决方案 的详细介绍与原理深度解析

2025-05-07 22:24:39 1168

原创 Kubernetes(k8s)的API Server 组件原理与结合生产实战教程

k8s的API Server 组件介绍与实战教程

2025-05-01 22:39:13 1633 1

资源名称: calico-v3.26.4,包含calico-cni,calico-node,calico-kube-controllers

k8s的calico插件 资源名称: calico-v3.26.4,包含calico-cni,calico-node,calico-kube-controllers

2025-07-10

企业级python自动化运维脚本解析:从监控到安全的全链路实现 敏感配置加密存储 强化SSL证书验证 审计日志系统 双因素认证 企业微信机器人集成 钉钉机器人集成 短信通知接口 电话告警系统

1. 敏感配置加密存储 2. 强化SSL证书验证 3. 审计日志系统 4. 双因素认证机制 ##### 1. 企业微信机器人集成 2. 钉钉机器人集成 3. 短信通知接口 4. 电话告警系统 ##### 1. 系统资源监控与告警 2. 日志文件自动轮转 3. 异常状态通知 4. 自定义阈值配置

2025-04-20

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除