- 博客(37)
- 收藏
- 关注
原创 基于 docker 部署的 minio 节点对等扩容(盘不对等)
1、先部署一个四节点、每个节点挂载两块盘的 minio 集群。先把之前的四个节点 stop、再rm掉。2、扩容四个节点、每个节点挂载8块盘。
2025-09-11 11:45:13
112
原创 kubeadm 搭建的 k8s 集群证书续期
通过 kubeadm 安装 kubernetes 集群时会存在一个证书问题:由 kubeadm 生成的客户端证书在 1 年后到期随着 kubernetes 集群的使用,某一天证书过期了,此时 kubernetes 集群将无法正常使用,比如:kubectl 命令执行会产生错误(You must be logged in to the server(unauthorized))、通过 k8s 接口访问资源时出现“证书过期”的错误等。
2025-09-04 16:51:07
219
原创 Milvus 向量数据库内存使用相关了解
然后用不同的索引类型使用的内存关系如下:HNSW/IVF_FLAT ------------- 这两种需要的内存和理论值基本相等IVF_SQ8/IVF_PQ-------------- 这两种需要的内存大约相当于理论值的25%~30%此外,您还可以动态更改参数,以微调群集和索引级别的内存映射设置。要为 Collections 中的某个索引启用或禁用内存映射,可调用alter_index() 方法,在index_name 中指定目标索引名称,并将mmap.enabled 设置为True 或False。
2025-08-06 14:14:27
1176
1
原创 kubeadm-k8s 中的 etcd 备份与恢复
从容器中把 etcdctl 工具复制出来到主机中的/usr/local/bin目录下。从容器中把etcdctl工具复制出来到主机中的/usr/local/bin目录下。以上为kubeadm下进行etcd数据备份与恢复。三台master上都需要操作。
2025-08-06 14:11:44
362
原创 使用 Helm 在 Kubernetes 中安装 Milvus
使用 kube-prometheus manifests 目录中的配置创建一个监控栈。使用 kube-prometheus manifests 目录中的配置创建一个监控栈。(2)将 Prometheus 服务转发至9090 端口,将 Grafana 服务转发至3000 端口。4.将本地端口转发给 Milvus my-milvus-service.yaml。5.安装attu客户端 attu-k8s-deploy.yaml。sudo swapoff -a -- 关闭交换分区功能。
2025-08-06 14:10:17
933
原创 Milvus 向量数据库
向量数据库是专门用来存储和查询向量的数据库,其存储的向量来自对文本、语音、图像、视频等的向量化。同传统数据库相比,向量数据库不仅能够完成基本的CRUD(添加、读取查询、更新、删除)等操作,还能够对向量数据进行更快速的相似性搜索。Milvus 是一款云原生向量数据库,它具备高可用、高性能、易拓展的特点,用于海量向量数据的实时召回。Milvus 基于FAISS、Annoy、HNSW 等向量搜索库构建,核心是解决稠密向量相似度检索的问题。
2025-08-06 14:08:26
1938
1
原创 k8s 网络插件 flannel & calico
Kubernetes网络是指在Kubernetes集群中不同组件之间进行通信和交互的网络架构,每个容器都有自己的IP地址,这些容器组成了Pod,Pod是Kubernetes调度的最小单元。Pod是Kubernetes中最小的部署单元,每个Pod都有一个唯一的IP地址,Pod内的容器共享该IP地址和网络命名空间,pod间通信可以使用多种技术,如Kubernetes默认的CNI插件:Flannel、Calico 等。
2025-08-06 14:06:17
659
原创 基于 kubeadm 搭建 k8s 集群
keepalived默认工作在抢占模式下。在抢占模式中,主节点的state设为MASTER,备节点的state设为BACKUP,主节点的优先级要比备节点的优先级要高。两者的state都设为BUAKUP(官网说的),一个节点的优先级要比另一个节点的优先级要高,同时高优先级的节点设置nopreempt参数,该参数表示不抢占vip。这样,当高优先级的节点挂了之后,vip就会漂移到低优先级的节点上,但是当高优先级的节点再次恢复正常后再次起来后不会再抢回vip,因为它加了nopreempt参数。
2025-08-06 14:05:13
1203
原创 Gitlab+Jenkins+K8S+Registry 建立 CI/CD 流水线
DevOps是一种将开发(Development)和运维(Operations)相结合的软件开发方法论。它通过自动化和持续交付的方式,将软件开发、测试和部署等环节紧密集成,以提高效率和产品质量。在本篇博客中,我们将介绍如何使用GitLab、Jenkins和Kubernetes(k8s)来构建一个完整的CI/CD解决方案。DevOps通过打破开发和运维之间的壁垒,促进了更紧密的合作和快速响应变化的能力。它强调团队间的协作、自动化和持续改进。
2025-08-06 14:03:15
1175
1
原创 基于 milvus-backup 实现 milvus-standalone 到 milvus-distributed 的数据迁移
注意:集群版minio创建好名为test的bucket,ak、sk准备好,milvus搭建好之后保证没有任何数据存在(参考我之前写的集群版milvus部署的文章)下载 milvus-backup-0.4.28.zip、 milvus-backup_Linux_x86_64.tar.gz。第一个是从单机版milvus的minio中把数据迁移到集群版的minio的配置文件。第二个是把迁移过来的数据恢复到milvus里面的配置文件。至此,milvus 单机到集群的数据迁移完成!
2025-06-25 18:02:10
905
原创 使用 vip 加入两台 master 节点
在一个 一主三从 的k8s 集群,新加两台master,加入之前与已有的master节点做好 keepalive ,然后使用 vip 去加入集群。关机后,vip 飘到了 另一太控制节点,另一台控制节点通过vip接管k8s管理。master-1 开机,vip 又回到本机(抢占模式)1、三台 master 搭建 keepalive。现在 vip 在master-1 上,要把他关机。在 master-1 上查看加入集群的信息。在两个新节点分别执行加入的命令。9、两个新节点依次加入集群。
2025-05-22 19:50:58
366
原创 k8s 3个 master 节点搭建 keepalive
4、修改 kubeadm-config 文件。1、在三台 master 节点上安装。3、启动并设置开机自启。
2025-05-14 17:43:02
414
原创 milvus 集群某节点关机引起的问题及解决
解决:先在重启的机器上删除etcd,删除etcd的数据目录,并把 data 目录改为 1001:1001, 执行加入集群的命令,这是他会报错,去好的etcd节点连接上etcd集群,把之前下线的etcd成员id删掉,这是他就会重新生成新的成员id。问题:重新加入etcd集群的时候,加入的是已有的集群,加入命令要变,还要删除之前的成员 id ,否则就会一直报成员已存在,还要修改 data 目录的属性为 1001:1001。2、etcd 一直在重启,下线的的节点加不进去etcd集群。
2025-04-27 09:50:26
146
原创 修改 docker 工作目录
一、停掉 containerd、cri-docker、docker。四、重启 containerd、cri-docker、docker。二、拷贝 docker 工作目录下的所有文件到新路径。三、daemon.json 添加新工作目录路径。
2025-04-10 23:45:26
473
1
原创 calico/node is not ready: BIRD is not ready
调整calicao网络插件的网卡发现机制,修改IP_AUTODETECTION_METHOD对应的value值。官方提供的yaml文件中,ip识别策略(IPDETECTMETHOD)没有配置,即默认为first-found,这会导致一个网络异常的ip作为nodeIP被注册,从而影响node-to-node mesh。我们可以修改成can-reach或者interface的策略,尝试连接某一个Ready的node的IP,以此选择出正确的IP。
2025-04-08 11:22:41
449
原创 基于 milvus-backup 的 milvus 数据迁移
数据迁移:要把第一个 milvus 集群数据迁移到第二个 milvus 集群。
2025-04-07 10:45:04
2059
1
原创 在 Kubernetes (k8s) 中安装 Metrics Server
以指定 Metrics Server 在与 Kubelet 通信时的地址类型优先级。如果需要高可用性配置(至少需要两个节点),可以下载高可用版本的 YAML 文件。1、下载 Metrics Server 的部署文件。如果在国内,可能需要替换镜像地址。二、安装 Metrics Server。2、修改 YAML 文件(如果需要)替换为可用的镜像地址,如。以跳过 TLS 证书验证。
2025-03-31 21:03:01
1670
原创 etcdkeeper 安装、使用
3、浏览器查看 etcdkeeper web界面。1、下载 etcdkeeper 客户端。2、启动 etcd 服务。
2025-03-27 10:08:19
528
原创 修改 minio 的纠删码策率(奇偶校验快)
修改之前是 3 块 奇偶校验块 3块数据块,实际能使用的存储是10T,50%修改之后是 2 块奇偶校验块 4块数据块,实际能使用的存储是14T,67%4、修改纠删码策率(EC:3 改为 2)1、下载 mc 工具,并设置到环境变量。2、给将要连接的 minio 设置别名。3、查看 minio 信息。
2025-03-26 14:12:38
380
原创 Minio 的数据备份和恢复
集群1主机 ip :登录 web 界面创建 bucket→test、policies→test(读写)、user→test→AK SK并上传两个文件。
2025-03-25 11:52:56
2620
原创 在 docker 和 k8s 环境下开启 iptables
这时候 calico-kube-controllers、calico-node、kube-proxy 都要重启(或者直接重启所有节点上的 docker )masqueradeAll: true — 启用 IP 伪装。即使源地址是 Pod,流量也会通过 Node 的 IP 伪装进行转发。1、修改 kube-proxy 的 Configmap。2、开启 iptables。
2025-03-21 17:30:20
524
原创 二进制部署 minio 集群对等扩容
1、每台机器创建 /minio 和 /root/minio 目录2、每个服务器单独加一个磁盘,并挂载 /minio 目录3、每台机器都做好域名解析。
2025-03-20 17:51:58
789
1
原创 Minio 的两种扩容方法分析
常见的集群扩容方法可分为两类:水平扩容和垂直扩容。水平扩容,一般指通过增加节点数扩展系统性能;而垂直扩容则指提升各节点自身的性能,例如增加节点的磁盘存储空间。直接采用垂直扩容方式扩容MinIO集群的节点磁盘空间,会为集群运行带来若干问题,官方也并不推荐。因此本文主要介绍MinIO的两种水平扩容方式:对等扩容和联邦扩容。
2025-03-19 18:48:29
1559
原创 基于 Docker 部署的 Minio 扩容
常见的集群扩容方法可分为两类:水平扩容和垂直扩容。水平扩容,一般指通过增加节点数扩展系统性能;而垂直扩容则指提升各节点自身的性能,例如增加节点的磁盘存储空间。直接采用垂直扩容方式扩容MinIO集群的节点磁盘空间,会为集群运行带来若干问题,官方也并不推荐。因此本文主要介绍基于 docker 部署的 MinIO 两种水平扩容方式:对等扩容和联邦扩容。
2025-03-18 17:06:34
697
原创 Minio 存储原理剖析
当前大多数的分布式存储集群,其节点往往可划分为多类角色,例如负责连接并处理外部应用请求的访问节点、负责存储元数据的管理节点、实际的数据存储节点等。MinIO则与之不同,MinIO集群中的所有节点都同时承担了多种角色,集元数据存储、数据存储、应用访问等功能于一体,真正实现了去中心化和所有节点的完全对等。那么在Disk 1~4的数据路径下,都会生成MyBucket/MyObject子路径,子路径中包含2个文件,分别为存储元数据信息的xl.json和MyObject对象在该盘上的第一个分片part.1。
2025-03-18 15:41:47
745
原创 dial tcp 10.96.0.1:443: connect: no route to host, failed to clean up sandbox container
修改完后,calico-kube-controllers 就会重启,多了一段时间,服务的 pod 就都挂了问题的关键是防火墙设置阻止了 calico 插件和 Kubernetes API Server 之间的通信。
2025-03-14 11:27:30
563
原创 单机版 milvus 部署
1、安装 docker2、配置 daemon.json 镜像源3、安装 docker-compose4、安装 Milvus5、拉取镜像6、docker-compose 部署 milvus7、attu 登录8、minio 登录。
2025-03-13 18:16:56
424
3
原创 Docker 安装 Kuboard V3
3、创建容器(ip 改成自己的)6、添加要管控的 k8s 集群。把输出内容粘贴到此处,点击确定。7、选择访问集群是使用的身份。4、查看是否创建成功。5、Web 页面登录。
2025-02-24 16:18:31
626
原创 修改 docker 守护进程的根目录(Root Directory)
2、编辑 daemon.json 文件,添加修改的目录。1、停掉 docker 服务。3、重启 docker。
2025-02-24 14:33:30
265
原创 基于 Kubeadm 搭建 k8s-1.28.0 集群
pod 网段:10.244.0.0/16service 网段:10.96.0.0/12注意: pod和service网段不可冲突,如果冲突会导致K8S集群安装失败主机名IP 地址操作系统master-110.0.41.83node-110.0.41.84node-210.0.41.85node-310.0.41.86。
2025-02-23 16:39:00
740
原创 在 k8s 集群内加入 master 从节点
2、把输出的加入集群命令和证书拼接好,在 master-2 节点执行,进行加入集群操作。4、在 master-2 节点执行以下命令,使其有权限管控集群。6、删除 master-2 控制节点不可调度 pod 的污点。3、在 master-1 节点查看加入的节点。1、在 master-1 节点执行以下命令。5、在 master-2 节点节点信息。
2025-02-23 16:10:52
551
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅