- 博客(60)
- 收藏
- 关注
原创 Kubernetes 网络三部曲:CNI、kube-proxy 与 CoreDNS 是如何协作的?
是“路和车”——解决“能不能到”(底层物理网络和路由)。kube-proxy是“交警和调度员”——解决“找哪个 IP 去”(虚拟 IP 转换和负载均衡)。CoreDNS是“导航地图”——解决“那个 IP 叫什么名字”(服务发现,方便代码不写死 IP)。三者配合,Kubernetes 的网络才算真正可用。下次再遇到“网络不通”的问题,按这个思路逐层排查:先看 CNI(Pod IP 能不能通),再看 kube-proxy(Service 能不能通),最后看 CoreDNS(域名能不能解析)。
2026-09-04 14:08:41
324
原创 Docker 自定义网络中容器无法通过宿主机 IP 访问服务的完整排障记录
宿主机能连接 Nacos(返回 404,说明服务在)宿主机也能连接Docker 容器ontostar通过无法连接 NacosDocker 容器ontostar通过无法连接 MySQL三个容器(ontostarnacosmysql)都在同一个自定义网络中在同一个用户自定义的桥接网络中,容器之间理应可以通过 IP 地址直接通信,而不需要经过宿主机物理网卡。宿主机 iptables FORWARD 链被阻断(例如默认策略为 DROP,或没有 Docker 插入的允许规则)容器内服务监听地址错误。
2026-06-01 15:59:33
429
原创 docker部署Kingbase
KingbaseES通过Docker部署是当前的安装方式,尤其适合开发测试和快速验证场景。整个过程只需准备镜像、配置挂载目录并启动容器,,且无需处理复杂的系统依赖问题。以下基于主流版本KingbaseES V9(兼容Oracle模式)的实战经验,整理出标准化部署流程及高频问题解决方案,内容经过多环境验证,可直接用于生产环境参考。
2026-06-01 15:51:50
288
原创 从 K8s Device Plugin 到 Volcano 多元算力管理:GPU 显存共享实战与深度解析
在云原生 AI 和大数据场景下,Kubernetes(K8s)的原生资源管理模型在面对 GPU 等异构算力时显得力不从心。K8s 的 Device Plugin 机制虽然提供了扩展能力,但默认只能以 “整卡” 为单位分配 GPU,导致资源利用率低下。Volcano 作为云原生批量计算引擎,通过扩展 Device Plugin 机制,实现了包括 GPU 显存共享在内的多元算力精细化管理。
2026-03-06 16:11:09
731
2
原创 从实验到生产:MLOps 核心技术栈全景解析
摘要:本文介绍了MLOps技术栈中四个核心组件及其协同应用。MLflow负责实验跟踪和模型管理,KServe提供生产级模型部署能力,Airflow实现工作流编排,Volcano处理高性能批处理调度。通过将这些工具有机结合,可构建自动化的机器学习全生命周期管理平台:从数据准备、模型训练、评估部署到监控反馈。这种组合方案能有效解决模型开发到生产部署中的版本混乱、资源争抢、流程复杂等问题,提升AI应用的迭代效率和系统稳定性。
2026-03-04 11:14:30
459
原创 基于k8s的KServe 控制平面生产级部署最佳实践:基于 Gateway API 的标准化流量管理方案
本文介绍了KServe与GatewayAPI结合的标准部署模式,用于构建生产级AI模型推理服务。通过对比传统Ingress方案的局限性,详细阐述了GatewayAPI在标准化、多协议支持和生产级特性等方面的优势。文章提供了从环境准备到实战部署的完整流程,包括创建GatewayClass、Gateway、InferenceService和HTTPRoute等关键步骤,并分享了HTTPS加密、灰度发布和弹性扩缩容等生产级优化配置。该方案实现了模型服务的高可用、易运维和标准化管理,是KServe官方推荐的企业级A
2026-02-10 15:38:21
647
原创 手把手教你:用 MLflow 开发机器学习模型并部署到 Kubernetes
在机器学习工程中,“模型开发 - 部署上线” 的全流程落地是核心痛点。本文基于 MLflow 3.9.0 版本,结合 KServe 和 MLServer,详细拆解从模型训练、超参调优到 Kubernetes 部署的完整步骤,附完整命令和配置文件,新手也能轻松上手。
2026-02-04 10:48:40
913
原创 一问读懂基于 MLflow Tracking Server 的核心功能与实战
摘要:MLflow Tracking Server是解决机器学习团队协作痛点的关键工具,可将实验管理从单机模式升级为团队协作模式。本文从实战角度介绍了:1)5分钟快速部署基础服务器和团队共享配置;2)不同规模团队的存储方案选择(SQLite/PostgreSQL/远程存储);3)生产环境必做的安全防护措施(HTTPS/身份认证/来源管控);4)大型项目优化技巧(版本兼容/超时处理/存储优化)。MLflow Tracking Server能实现实验数据集中管理、结果实时共享,支持从小规模测试到大规模生产的全场
2026-02-03 11:44:18
766
原创 MLflow 与 Keras 3.0 深度集成:一站式搞定深度学习实验跟踪与模型管理
本文介绍了MLflow与Keras3.0的集成应用,解决深度学习开发中的实验跟踪和模型管理问题。Keras3.0支持TensorFlow、JAX、PyTorch多后端切换,结合MLflow可实现自动日志记录、模型版本管理等核心功能。文章详细讲解了四大集成场景:自动日志记录(一行代码实现)、手动精细日志控制、模型保存/加载以及企业级模型注册表管理。通过MLflow的钩子机制,可以自动捕获训练参数、指标、模型结构等关键数据,支持从个人实验到团队生产的全流程管理。所有代码示例均可直接运行,帮助开发者快速实现深度学
2026-02-02 17:45:23
651
原创 机器学习可视化+MLflow实战指南:告别混乱,让模型分析可追溯
Notebook的单元格共享同一个Python内核,变量、数据会保存在内存中——即使你修改了数据处理代码,若未重新运行生成可视化的单元格,图表仍会基于旧数据生成。举个真实场景:你按顺序运行了“数据加载→数据清洗→生成相关性热图→模型训练”;后来发现数据清洗漏了一个异常值,修改代码后重新运行了“数据清洗”和“模型训练”;但忘了重新生成相关性热图,最终用“旧热图”分析特征重要性,导致模型优化方向完全错误。
2026-01-29 15:23:47
694
原创 基于 MLflow+Optuna 的随机森林超参数调优与实验追踪
本文结合 MLflow 和 Optuna 实现了随机森林超参数调优的全流程实验追踪,核心优势:自动化调优:Optuna 自动探索超参数空间,无需手动枚举,效率更高;层级化追踪:MLflow 嵌套运行实现 “总调优过程 - 单试验” 的层级管理,实验记录清晰;可复现性:所有参数、指标、模型均被记录,可随时回溯和复现最佳实验结果。该方案可扩展到其他机器学习模型(如 XGBoost、LightGBM 等),只需调整目标函数中的模型类型和超参数搜索空间,是机器学习实验管理的通用解决方案。
2026-01-21 16:26:34
806
原创 MLflow 零基础快速入门:轻松追踪你的机器学习实验
核心价值:MLflow Tracking 可一站式解决实验参数、指标、模型的追踪与管理,自动日志适合快速上手,手动日志适合精准控制;关键操作:通过创建实验,开启自动日志,管理手动运行,加载模型;可视化:启动 MLflow 服务器后,通过 UI 可直观查看所有实验细节,大幅降低实验复现和对比成本。掌握这些核心用法后,你可以将 MLflow Tracking 集成到日常机器学习开发中,让实验过程更规范、可追溯。
2026-01-15 11:13:48
1066
原创 实战解析|EFK 日志系统数据同步问题全解(附核心配置模板)
EFK 数据同步问题的解决,并非单一组件的优化,而是全链路的协同配置与监控,核心围绕「不丢失、不重复、低延迟、可监控」四个目标展开:从源头出发,通过 Fluentd 的 file buffer、断点续传、幂等传输,保障采集数据不丢失、不重复;优化传输链路,通过批量写入、指数退避重试、ES 专用写入节点,保障数据投递可靠;强化 ES 存储,通过合理的索引策略、副本容灾、translog 持久化,保障数据存储的完整性和同步效率;
2026-01-14 10:51:30
978
原创 AI重塑云计算与运维:从被动响应到智能自治的进化之路
在云计算与运维行业,“凌晨三点排查故障”“资源利用率忽高忽低”“安全漏洞难以及时发现”曾是运维工程师的常态痛点。而AI技术的深度渗透,正彻底颠覆这一局面——从故障的智能预判、资源的动态调度到安全的主动防御,AI让云计算与运维从“被动响应”迈向“智能自治”。本文将从核心场景出发,拆解AI在该行业的落地逻辑与实战价值。
2025-10-28 09:10:00
1510
原创 The node was low on resource: ephemeral-storage. Container kafka-manager was using 108Ki, which exce
完整日志:Evicted <invalid> kubelet The node was low on resource: ephemeral-storage. Container kafka-manager was using 108Ki, which exceeds its request of 0从事件日志来看,核心问题是:节点临时存储资源不足导致 Pod 被驱逐Pod 被驱逐的原因是 容器使用的临时存储超过了其请求的额度(请求为 0)。当节点临时存储紧张时,Kubernetes 会优先驱逐那些未设置资
2025-10-21 11:39:28
351
原创 Readiness probe failed: Get “http://10.244.196.163:9000/“: context deadline exceeded (Client.Timeout
问题现象:使用service暴露端口,浏览器可以访问,但是使用k8s内部的探针检查机制反馈失败问题原因:kubelet 访问 Pod 的 9000 端口超时,应用未在规定时间内响应探针请求。结合 Pod 被频繁驱逐(重启),可能是应用还没完全启动就被探针检查,或启动后因资源问题无法响应。
2025-10-21 11:30:03
973
原创 K8s部署效率神器:Helm实战指南
Helm作为Kubernetes的包管理工具,通过"打包化、版本化、可配置化"三大核心能力,显著提升应用部署效率。本文详解Helm技术要点,包括Chart文件结构和核心概念,并通过Nginx和MySQL的实战案例,展示其便捷性。对比手动部署,Helm在多环境适配、版本管理等方面效率提升70%-90%,支持一键回滚和CI/CD集成。文章还提供常用命令速查和进阶技巧,如自定义Chart开发、私有仓库搭建等。Helm有效解决了K8s原生部署的碎片化问题,是提升运维效率的必备工具。
2025-10-21 10:15:41
1139
原创 SkyWalking运维实战指南:配置解析与日常运维全攻略
本文提供SkyWalking分布式链路跟踪工具的运维指南,涵盖核心配置解析、日常运维操作和常见问题排查三大模块。重点解析Collector、WebApp和Agent三大组件的关键配置参数,推荐生产环境使用Elasticsearch存储方案。日常运维包括服务启停、日志管理、配置更新和数据备份等标准化流程。针对Agent无法连接、链路数据缺失和性能卡顿等常见问题,给出具体排查步骤和解决方案。最后强调配置适配、主动监控和快速定位三大运维原则,建议将关键指标纳入监控系统,实现SkyWalking的稳定运行。
2025-10-20 16:09:34
1234
原创 SkyWalking实战:从原理到落地的链路跟踪指南
本文介绍了分布式链路追踪系统SkyWalking的核心原理与实战部署。SkyWalking通过Agent、Collector、WebApp三大组件实现服务调用的全链路追踪,采用"链路ID+跨度ID"标记请求路径。文章详细演示了基于MySQL存储的SkyWalking 9.4.0部署流程,包括Collector配置、WebApp启动和Agent挂载方法,并提供了关键参数说明。
2025-10-20 15:52:41
1849
原创 使用 Kubernetes(k8s) 搭建 Redis 3 主 3 从集群教程
本文介绍了在Kubernetes中使用StatefulSet部署Redis集群的技术方案。重点阐述了三个关键技术选型:1)使用StatefulSet保证Pod稳定网络标识、有序部署和专属持久存储;2)采用Headless Service支持节点间直接通信;3)通过ConfigMap实现配置与镜像解耦。实战部分详细展示了部署流程,包括ConfigMap配置、Headless Service创建、RBAC权限设置、StatefulSet构建以及Job任务自动初始化集群。方案最终实现了3主3从的Redis高可用集
2025-09-29 22:15:19
812
原创 使用kubeasz的ezdown 搭建k8s环境出现:已发出 HTTP 请求,正在等待回应... 403 F orbidden2025-09-23 :21 错误 403:Forbidden
摘要:用户在使用ezdown脚本下载Docker二进制文件时遇到403禁止访问错误。问题源于脚本中wget命令的user-agent参数不准确。解决方法包括:1)访问清华源镜像站确认地址;2)通过浏览器调试面板获取正确的user-agent值;3)修改脚本第164行相应参数。修改后问题解决,欢迎在评论区讨论其他相关问题。(98字)
2025-09-23 10:20:12
444
原创 使用 kubeasz的ezdown部署单节点集群(aio),作为k8s集群的测试或开发环境教程
摘要:ezdown是kubeasz项目的辅助脚本,用于简化Kubernetes集群安装过程。支持下载脚本、二进制文件、系统包和容器镜像,提供容器化运行环境。主要功能包括:一键下载所有资源(-D选项)、启动kubeasz容器(-S选项)、自定义组件版本等。特点包括离线安装支持、中国镜像源优化、容器化隔离和幂等操作。典型使用流程为先下载资源再启动容器部署集群,适合快速搭建k8s开发测试环境。脚本包含完善的错误处理和日志功能,支持CentOS/Ubuntu系统。
2025-09-14 11:35:15
1316
3
原创 Nginx生产级优化配置全解析和配置原因解析
资源最大化:让 Nginx 充分利用系统的 CPU 核心、文件描述符和网络连接容量。效率极致化:通过sendfiletcp_nopush和keepalive等技术,减少不必要的内存拷贝、网络数据包和连接建立开销。稳定性优先:通过合理的超时和缓冲区设置,保护 Nginx 自身不被恶意或异常的请求拖垮,确保服务稳定。可观测性与成本的权衡:在性能和详细的访问日志之间做出符合业务需求的权衡。请记住,所有数值都应作为起点。最科学的做法是结合监控(如)和压测工具,观察这些参数是否适合你的实际流量模式,并持续进行调整。
2025-09-12 23:02:09
978
原创 详细解读k8s的kind中service与pod的关系
Kubernetes中Pod和Service是核心概念:Pod是最小运行单元,托管容器但生命周期短暂,IP地址动态变化;Service提供稳定访问端点,通过固定虚拟IP和标签选择器实现服务发现与负载均衡。Pod负责运行应用实例,Service则确保这些实例可被可靠访问,二者协同工作保障应用的高可用性。
2025-09-10 13:25:56
744
原创 一文读懂k8s的pv与pvc原理
文章摘要: Kubernetes通过PV、PVC和StorageClass实现存储资源的解耦与动态管理。PV是预配置的存储资源,PVC是应用对存储的声明,StorageClass则定义了动态创建PV的模板。两者绑定后供Pod使用,支持静态供给(管理员预配PV)和动态供给(按需自动创建PV)
2025-09-01 21:47:30
1068
原创 详谈OSI七层模型和TCP/IP四层模型以及tcp与udp为什么是4层,http与https为什么是7层
本文对比了OSI七层模型与TCP/IP四层模型的架构差异。OSI七层模型作为理论框架,包含物理层至应用层各层功能;而TCP/IP四层模型作为实际应用标准,整合为网络接口层、网际层、传输层和应用层。重点分析了TCP/UDP作为传输层协议的核心功能(端口标识、连接管理、数据分段等),以及HTTP/HTTPS作为应用层协议的特点(定义Web交互规则,依赖下层传输服务)。结论指出:分层思想的核心是下层解决"如何传输",上层关注"传输什么";TCP/IP的应用层对应OSI的会话/表示/应用三层功能,二者在最高层的定位
2025-07-25 22:14:06
1761
原创 MountVolume.SetUp failed for volume “bpffs“ : hostPath type check failed: /sys/fs/bpf is not a direc
【摘要】Calico的calico-node Pod因无法挂载/sys/fs/bpf导致启动失败。解决方法包括:1)检查/sys/fs/bpf是否存在,不存在则升级内核或手动创建目录并挂载bpffs;2)通过mount命令验证挂载状态,将挂载配置写入/etc/fstab确保持久化;3)删除calico-node Pod触发重建。根本原因可能是内核版本过低(需≥4.15)、bpffs未正确挂载或安全策略限制。操作步骤涵盖目录检查、内核升级、文件系统挂载及Pod重建等关键环节。(150字)
2025-07-10 21:14:48
747
原创 保姆级搭建harbor私有仓库与docker-ce教程与使用教程
本文详细记录了Harbor私有仓库的搭建过程。主要内容包括:配置主机名和hosts文件;导入Harbor镜像并解压安装;创建HTTPS证书(本次使用HTTP协议);修改harbor.yml配置文件;执行预安装检查并启动项目;设置开机自启动;安装配置Docker服务;最后测试登录Harbor仓库。整个过程涵盖了从环境准备到服务部署的所有关键步骤,最终通过docker login验证安装成功,浏览器也可正常访问。
2025-07-10 20:34:22
939
原创 DNS解析优化指南
DNS解析优化是指通过改进域名到IP地址的转换过程,提升解析速度、可靠性和安全性,从而改善网站访问体验。:用户首次访问时需等待DNS查询结果。:DNS服务器故障可能导致网站不可用。
2025-05-20 09:50:52
2200
原创 一文带你看懂使用ansible的palybook的方式实现 搭建ceph分布式集群搭建,包含部署 CephFS(文件存储),部署 RGW(对象存储)
Ansible 搭建教程与实战。
2025-05-19 11:08:00
823
原创 手把手搭建 Ceph 分布式存储集群的详细教程(以 Ceph Quincy 版本为例,基于 Ubuntu 22.04)
ceph orch daemon add osd node1:/dev/sdb # 将 node1 的 /dev/sdb 加入集群。:MDS(元数据服务器,用于CephFS)、RGW(对象存储网关)。:4核CPU,8GB内存,每块硬盘建议≥1TB(SSD/HDD)。:至少3个节点(奇数个,如3/5),负责集群状态监控。:2个节点(与 Mon 同节点或独立),负责集群管理。:≥3个节点,每个节点挂载至少1块硬盘,负责数据存储。:万兆网络(或千兆最低),所有节点需互通。确保所有节点的防火墙已禁用。
2025-05-17 22:28:39
2249
原创 数据库生产级的故障排查指南与防攻击指南
- 需启用performance_schema。-- 超过2秒的查询记录。# 使用 pt-table-checksum(Percona工具)-- 查看当前锁状态(MySQL InnoDB)-- 使用 EXPLAIN 分析查询计划。# 查看CPU和内存使用(Linux)# MySQL配置文件(my.cnf)-- 启用审计日志(MySQL企业版)-- 分析慢查询(直接查看日志文件)-- 查看表的索引信息(MySQL)-- 查看从库同步状态(MySQL)-- 启用慢查询日志(MySQL)
2025-05-12 10:55:31
787
原创 shell脚本实现docker运行镜像挂载
-name 给运行的镜像取名 -v /宿主机/目录:/容器内/目录 镜像名。完整shell脚本(包含Redis,MySQL,es,nginx)docker启动nginx(当前使用docker默认网络)根据本文脚本展示内容可以实现多种容器挂载。有问题可以在评论区讨论。若有需要,可自行扩展。
2025-05-12 10:03:56
347
原创 k8s的flannel生产实战与常见问题排查
其核心功能是分配 Pod IP 并建立覆盖网络(Overlay Network),支持多种后端(Backend)如 VXLAN、host-gw、UDP 等。:集成 Prometheus 监控 Flannel 指标(需配置 ServiceMonitor)。:确保 VXLAN(UDP 8472)或 host-gw(IP 协议)端口开放。:Flannel 自身不提供网络策略,需结合 Calico 或 Cilium。:仅在测试环境使用 UDP,生产环境优先选择 VXLAN 或 host-gw。
2025-05-11 17:29:59
1458
原创 Prometheus生产实战全流程详解(存储/负载/调度篇)
本文提供了全面的生产配置模板和性能优化策略,涵盖了存储架构、负载治理、调度优化和异常自愈等多个方面。通过详细的存储拓扑设计、关键参数调优和远程存储实战,显著提升了写入吞吐量、查询延迟和磁盘空间利用率。负载治理部分介绍了动态分片方案、负载熔断策略和高基数拦截方案,有效管理了百万级Series。调度优化部分则通过优先级调度、自适应抓取和Kubernetes调度策略,实现了精准采集控制。此外,还提供了异常自愈模式库,包括存储故障处理流程、自动恢复脚本和关键健康检查项,确保了系统的稳定性和自愈能力。最后,通过生产验
2025-05-09 21:27:01
951
原创 MySQL数据库高可用(MHA)详细方案与部署教程
MySQL MHA(Master High Availability)高可用解决方案 的详细介绍与原理深度解析
2025-05-07 22:24:39
1168
资源名称: calico-v3.26.4,包含calico-cni,calico-node,calico-kube-controllers
2025-07-10
企业级python自动化运维脚本解析:从监控到安全的全链路实现 敏感配置加密存储 强化SSL证书验证 审计日志系统 双因素认证 企业微信机器人集成 钉钉机器人集成 短信通知接口 电话告警系统
2025-04-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅