适用于 AI/ML 工作负载的有状态 KES

于 2024-06-21 09:54:06 发布
阅读量897 收藏 12
点赞数 18
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/miniopro/article/details/139853081
版权

在此概念验证 （POC） 中，我们将探讨在 Kubernetes （k8s） 生态系统中安装和管理有状态密钥加密服务 （KES）。本指南促进了加密操作的无缝衔接，而不会将敏感的密钥材料暴露给使用型应用程序。

在 Kubernetes 中以有状态配置实现 KES 可确保加密密钥在 Pod 生命周期事件和重新启动期间的持久性。此设置提供了体系结构弹性，这在不依赖外部密钥管理系统 （KMS） 的环境中尤为重要。

当您有数百万亿个对象从 AI/ML 工作负载（例如LLMs）生成时，由于数百个应用程序同时访问它们，您需要确保数据加密/解密层不会成为瓶颈，并且尽可能快，因为每个对象都需要自己唯一的密钥。通过将这些潜在的数十亿个密钥存储在有状态的 KES 后端中，即使 KMS 长时间脱机，密钥也可以保存到 KES，直到 KMS 重新联机。

先决条件

在继续之前，请确保您具备：

  • 已安装并配置 Kubernetes CLI （kubectl）。

  • 使用适当的权限访问 Kubernetes 集群。

  • MinIO Operator 和 CLI （mc） 已准备好部署。

  • Kubernetes 和加密概念的基本知识。

部署 MinIO Operator

设置 Kubernetes 环境

删除上一个集群

若要避免冲突，请删除任何现有群集：

kind delete clusters kind
创建新集群

使用以下 kind-config.yaml 文件设置具有所需配置的全新 Kubernetes 集群：


kind create cluster --config ~/operator/testing/kind-config.yaml
部署 MinIO Operator

使用 kubectl 部署 MinIO Operator 以管理集群中的 MinIO 实例：


kubectl apply -k github.com/minio/operator/
部署 MinIO 租户

使用适合开发和测试目的的轻量级配置部署 MinIO 租户：


kubectl apply -k github.com/minio/operator/examples/kustomization/tenant-lite

配置密钥加密服务 （KES）

创建 Ubuntu Pod

部署 Ubuntu Pod 以在 MinIO 租户命名空间中托管 KES 服务：

cat <<EOF | kubectl apply -f -

apiVersion: v1

kind: Pod

metadata:

  name: ubuntu

  namespace: tenant-lite

  labels:

	app: ubuntu

spec:

  containers:

  - image: ubuntu

	command:

  	- "sleep"

  	- "604800"

	imagePullPolicy: IfNotPresent

	name: ubuntu

  restartPolicy: Always

EOF
安装 KES 和 mc

在 Ubuntu pod 中执行以下命令以安装 KES 和 MinIO 客户端 （mc）：


apt update

apt install wget

wget https://github.com/minio/kes/releases/latest/download/kes-linux-amd64

mv kes-linux-amd64 kes

chmod +x kes

mv kes /usr/local/bin/kes

wget https://dl.min.io/client/mc/release/linux-amd64/mc

chmod +x mc

mv mc /usr/local/bin/mc

为 KES 配置持久性存储

持久性目录创建

在 Ubuntu pod 中为 KES 配置和数据文件创建一个目录，其中 KES 位于：

rm -rf ~/kes

mkdir ~/kes

cd ~/kes

touch init.yml
身份管理

生成 KES 和 MinIO 身份验证所需的必要标识：

cd ~/kes

kes identity new --key sys-admin.key --cert sys-admin.crt kes-sys-admin

kes identity new --key minio-admin.key --cert minio-admin.crt minio-admin

kes identity new --key minio.key --cert minio.crt minio

kes identity new --ip "10.244.2.7" localhost # will generate private.key and public.crt

                       	|

                       	|____ IP Address of the Ubuntu Pod.

预期有 4 个标识。

root@ubuntu:/# cd ~/kes

root@ubuntu:~/kes# ls

data  init.yml  minio-admin.crt  minio-admin.key  minio.crt  minio.key  private.key  public.crt  sys-admin.crt  sys-admin.key

                  	|           	|          	|      	|                                	|            	|

                  	|           	|          	|__________|___ minio                       	|________________|___ kes-sys-admin

                  	|           	|

                  	|_______________|___ minio-admin

root@ubuntu:~/kes#

创建 KES 解封密钥。


cat /dev/urandom | head -c 32 | base64 # put the result in the .bashrc

vi ~/.bashrc

export KES_UNSEAL_KEY=<VALUE-FROM-ABOVE-COMMAND>

source ~/.bashrc

echo $KES_UNSEAL_KEY # it should print the value

初始化 KES 部署

KES 配置 - 编辑/创建 KES 配置文件

通过设置必要的配置参数来配置 KES 服务：

cd ~/kes

echo "version: v1" > ~/kes/init.yml

echo "address: 0.0.0.0:7373" >> ~/kes/init.yml

echo "" >> ~/kes/init.yml

echo "tls:" >> ~/kes/init.yml

echo "  key: private.key" >> ~/kes/init.yml

echo "  cert: public.crt" >> ~/kes/init.yml

echo "  client:" >> ~/kes/init.yml

echo "	verify_cert: false" >> ~/kes/init.yml

echo "" >> ~/kes/init.yml

echo "system:" >> ~/kes/init.yml

echo "  admin:" >> ~/kes/init.yml

echo "	identity: $(kes identity of sys-admin.crt)" >> ~/kes/init.yml

echo "" >> ~/kes/init.yml

echo "unseal:" >> ~/kes/init.yml

echo "  environment:" >> ~/kes/init.yml

echo "	name: KES_UNSEAL_KEY" >> ~/kes/init.yml

echo "" >> ~/kes/init.yml

echo "enclave:" >> ~/kes/init.yml

echo "  default:" >> ~/kes/init.yml

echo "	admin:" >> ~/kes/init.yml

echo "  	identity: $(kes identity of minio-admin.crt)" >> ~/kes/init.yml

echo "	policy:" >> ~/kes/init.yml

echo "  	minio:" >> ~/kes/init.yml

echo "    	allow:" >> ~/kes/init.yml

echo "    	- /v1/api" >> ~/kes/init.yml

echo "    	- /v1/log/audit" >> ~/kes/init.yml

echo "    	- /v1/log/error" >> ~/kes/init.yml

echo "    	- /v1/key/create/*" >> ~/kes/init.yml

echo "    	- /v1/key/generate/*" >> ~/kes/init.yml

echo "    	- /v1/key/decrypt/*" >> ~/kes/init.yml

echo "    	- /v1/key/bulk/decrypt/*" >> ~/kes/init.yml
初始化

使用新创建的配置文件初始化 KES 服务器：


cd ~/kes # where init.yml is saved

kes init --config init.yml ~/kes/data

预期为


root@ubuntu:~/kes# cd ~/kes # where init.yml is saved

kes init --config init.yml ~/kes/data

TLS:

  · Private Key:  private.key

  · Certificate:  public.crt


System:

  · Identity:  1a65f6f86c3268b30528fe4aab88fc6994730346e1c1863052fa3fa192d77d3e


Unseal:

  · Environment:  KES_UNSEAL_KEY


╭─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╮

│                                                    	Initialized KES v0.22.3 in /root/kes/data                                                    	│

╰─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯

root@ubuntu:~/kes#

启动 KES 服务器

启动 KES 服务器并验证其是否正常运行：

kes server ~/kes/data

预期为：


root@ubuntu:~/kes# kes server ~/kes/data

Copyright  MinIO, Inc.  https://min.io

License	GNU AGPLv3   https://www.gnu.org/licenses/agpl-3.0.html

Version	v0.22.3  	linux/amd64


Endpoints  https://127.0.0.1:7373

       	https://10.244.4.2:7373


mTLS   	skip verify  Client certificates are not verified

Mem Lock   off      	Failed to lock RAM pages. Consider granting CAP_IPC_LOCK

使用 KES 配置 MinIO

分配策略

通过分配适当的策略和标识将 MinIO 和 KES 链接在一起。

在 KES 所在的 Ubuntu Pod 终端中：将 MinIO 标识分配给 MinIO 策略。

cd ~/kes

export KES_SERVER=https://127.0.0.1:7373

export KES_CLIENT_KEY=minio-admin.key

export KES_CLIENT_CERT=minio-admin.crt

kes policy assign -k minio $(kes identity of minio.crt)

预期：


root@ubuntu:/# cd ~/kes

export KES_SERVER=https://127.0.0.1:7373

export KES_CLIENT_KEY=minio-admin.key

export KES_CLIENT_CERT=minio-admin.crt

kes policy assign -k minio $(kes identity of minio.crt)

root@ubuntu:~/kes#

root@ubuntu:~/kes#

root@ubuntu:~/kes#

root@ubuntu:~/kes#

root@ubuntu:~/kes#

root@ubuntu:~/kes# printenv | grep KES_SERVER

KES_SERVER=https://127.0.0.1:7373

root@ubuntu:~/kes#
服务器设置

在 MinIO 和 KES 之间建立连接，定义加密端点和凭据：

  • 创建 kes-minio 密钥

  • 将 ~/kes/minio.key 和 ~/kes/minio.crt 从 ubuntu pod 复制到您的笔记本电脑

下面的这两个文件来自以下行： kes identity new --key minio.key --cert minio.crt minio

# /Users/aj/minio/private.key is ~/kes/minio.key

# /Users/aj/minio/public.crt is ~/kes/minio.crt

kubectl create secret generic kes-minio -n tenant-lite --from-file=/Users/aj/minio/private.key --from-file=/Users/aj/minio/public.crt
  • 创建 kes-minio-public 密钥：

1 . 将 ~/kes/private.key 和 ~/kes/public.crt 从 ubuntu pod 复制到您的笔记本电脑

2 . 下面的这两个文件来自以下行：kes identity new --ip “10.244.2.7” localhost：


# /Users/aj/minio/private.key is ~/kes/private.key

# /Users/aj/minio/public.crt is ~/kes/public.crt

kubectl create secret generic kes-minio-public -n tenant-lite --from-file=/Users/aj/minio/private.key --from-file=/Users/aj/minio/public.crt



k edit tenant -n tenant-lite



apiVersion: minio.min.io/v2

kind: Tenant

metadata:

  name: storage

  namespace: minio-tenant

spec:

  # externalClientCertSecrets is to share the secret with the MinIO Pods:

  # Under: /tmp/certs/client-0 You will find:

  # client.crt and client.key

  # And we can use these files to setup KES in k8s

  externalClientCertSecrets:

  - name: kes-minio

	type: Opaque

  - name: kes-minio-public

	type: Opaque

  env:

	# Set MINIO_KMS_KES_ENDPOINT

	# It is the IP of the Ubuntu Pod.

	- name: MINIO_KMS_KES_ENDPOINT

  	value: "https://<IP-ADDRESS-OF-UBUNTU-POD>:7373"

	# Set MinIO Client Credentials, it comes from kes-minio secret

	- name: MINIO_KMS_KES_CERT_FILE

  	value: "/tmp/certs/client-0/client.crt"

	# Set MinIO Client Credentials, it comes from kes-minio secret

	- name: MINIO_KMS_KES_KEY_FILE

  	value: "/tmp/certs/client-0/client.key"

	# Set MinIO Default Key

	- name: MINIO_KMS_KES_KEY_NAME

  	value: "minio-default-key"

	# Trust the KES Server Certificate, it comes from kes-minio-public secret

	- name: MINIO_KMS_KES_CAPATH

  	value: "/tmp/certs/client-1/client.crt"

	# Root User

	- name: MINIO_ROOT_USER

  	value: minio

	# ROOT Password:

	- name: MINIO_ROOT_PASSWORD

  	value: minio123

加密操作

通过创建加密存储桶并配置服务器端加密来执行加密操作：

mc alias set myminio https://minio.tenant-lite.svc.cluster.local:443 minio minio123

mc rb myminio/my-bucket --force # remove previous bucket to start fresh

mc mb myminio/my-bucket # create new bucket

mc admin kms key create myminio minio-my-bucket # create key

mc encrypt set sse-kms minio-my-bucket myminio/my-bucket # encrypt bucket

结果的验证和测试

通过验证是否可以通过 MinIO 创建和访问密钥，确保您的设置正确：


root@ubuntu:/# mc alias set myminio https://minio.tenant-lite.svc.cluster.local:443 minio minio123

Added `myminio` successfully.

root@ubuntu:/# mc rb myminio/my-bucket --force # remove previous bucket to start fresh

mc: <ERROR> Unable to validate target `myminio/my-bucket`. Bucket `my-bucket` does not exist.

root@ubuntu:/# mc mb myminio/my-bucket # create new bucket

Bucket created successfully `myminio/my-bucket`.

root@ubuntu:/# mc admin kms key create myminio minio-my-bucket # create key

Created master key `minio-my-bucket` successfully

root@ubuntu:/# mc encrypt set sse-kms minio-my-bucket myminio/my-bucket # encrypt bucket

Auto encryption configuration has been set successfully for myminio/my-bucket

root@ubuntu:/#

最后的思考

按照概述的步骤操作后，您已在 Kubernetes 集群中成功部署了有状态 KES。通过此配置，您可以管理集群中的加密密钥，从而简化部署并减少对外部 KMS 解决方案的依赖。这可确保您的 AI/ML 工作负载平稳运行，而不会出现依赖于基础架构中这一关键功能的中断。

博客
为 MinIO AIStor 引入模型上下文协议（MCP）服务器
03-31 510
Anthropic 最近宣布的模型上下文协议 （MCP） 将改变我们与技术交互的方式。它允许自然语言通信替换许多任务的复杂命令行语法。不仅如此，语言模型还可以总结传统工具的丰富输出，并以人类可读的形式呈现关键信息。MinIO 是世界领先的对象存储提供商，拥有丰富的存储创新历史，我们一直在突破存储和 AI 交叉领域的界限。今天，我们很高兴推出另一项行业首创的创新产品 — 用于企业对象存储的模型上下文协议 （MCP） 服务器。
博客
利用 Materialize 和 MinIO AIStor 构建高性能内部数据管道
03-31 1081
Materialize 是一个专为实时数据集成和转换而设计的软件平台。它允许您仅使用 SQL 创建业务任何方面的最新视图。Materialize 构建在 Timely Dataflow（一种分布式数据并行计算引擎）之上，专注于在新数据到达时对查询进行高吞吐量、增量更新。对于性能至关重要的这些工作负载，在本地运行是一种经济高效且性能高的选择。Materialize 的主要存储是对象存储。
博客
针对对象存储的 Deepseek 式强化学习
03-21 411
tl;dr：我们训练一个小LLM玩家，让他们擅长使用强化学习（类似于导致 Deepseek R1 的过程）进行推理，所有这些都针对本地模型存储库 AIStor AIHub。
博客
英伟达™（NVIDIA®）GPUDirect 存储和 MinIO AIStor： 释放 GPU 驱动
03-20 1024
NVIDIA® GPUDirect® 是一套技术，旨在优化 GPU 和其他系统组件之间的数据传输，通过最大限度地减少 CPU 参与和减少延迟来提高性能。GPUDirect 系列包括几项关键技术：GPUDirect RDMA（远程直接内存访问）：支持跨网络在 GPU 和网络接口卡 （NIC） 之间直接访问内存，从而促进分布式计算环境中 GPU 之间的高速数据传输。
博客
MinIO AIStor： 利用英伟达™（NVIDIA®）BlueField-3 DPU 率先开发
03-20 643
Arm 架构正在彻底改变超大规模云，这得益于其总拥有成本 （TCO） 优势（更低的功耗和更低的冷却要求），从而实现了可持续的大规模高性能计算。AWS、Azure 和 GCP 等行业领导者正在采用 Arm 来驱动其用于 AI 训练的最新计算实例，利用其效率来满足数据密集型工作负载的需求。这些同样引人注目的因素（成本节约、能源效率和简化的基础设施）现在有望推动企业客户在本地采用 Arm，构建可与云功能相媲美的私有 AI 数据基础设施。在这个不断变化的环境中，MinIO 是先驱，从第一天起就设计了 Arm 原生对
博客
AIStor 与 NVIDIA NIM™ 集成
03-20 699
基于 AIStor 强大的 AI 功能，MinIO 的 PromptObject 使用户能够通过自然语言查询与他们的数据进行交互，如此处所述。PromptObject 允许用户使用自然语言询问有关其数据内容的问题并提取信息，从而改变了用户与存储对象的交互方式，无需编写复杂的查询或代码。今天，我们通过添加对 NVIDIA NHIM™ 的支持来扩展这些功能，为用户提供强大的 GPU 加速选项，以便直接从全局控制台进行 AI 模型部署和管理。
博客
借助 AIStor 和英伟达™（NVIDIA®）GPU，企业人工智能基础架构变得简单易行
03-20 823
寻求利用 AI 功能的现代企业通常面临一个重大障碍：在其 Kubernetes 环境中复杂地部署和管理 GPU 基础设施。MinIO 的 AIStor 通过集成 NVIDIA GPU Operator 来正面应对这一挑战，彻底改变了组织为 AI 工作负载部署和管理 GPU 资源的方式。通过自动化 GPU 设置、驱动程序管理和资源优化，这种集成将曾经复杂的多步骤流程转变为只需单个命令即可实现的简化部署。
博客
介绍 MinLZ 压缩算法
03-20 786
存在不同类型的压缩算法和非常好的实现。在 MinIO，我们已经使用了 Snappy 的增强版本，它一直为我们服务良好。但随着时间的推移，我们发现了一些可能的改进，可以更好地对压缩数据进行编码
博客
MLflow 模型注册表和 MinIO
03-20 824
已注册的模型是生产环境的候选项。您应该在实验中注册性能最佳的模型。注册模型后，您可以添加元数据，例如标签和描述。也可以在 Registry 中对模型进行版本控制;每个版本都有自己的描述和标签。在旧版本的 MLflow 中，可以指定模型的阶段以跟踪其状态。允许的阶段包括 None、Stage、Production 和 Archive。在本文中，我将展示如何使用最新版本的 MLflow 注册模型，在撰写本文时为 2.20.3。本文中显示的所有代码都可以在这里找到。
博客
Apache XTable：在数据湖仓一体中推进数据互作性
03-07 622
Apache XTable 是一个开源元数据转换器，可简化开放表格式（Apache Iceberg、Apache Hudi 和 Delta Lake）之间的互作性。XTable 允许您跨多种表类型进行读取和写入，而不是复制数据或被锁定为一种格式。它轻量级、高效，非常适合格式灵活性很重要的灵活数据架构。
博客
云计算的真实成本： 一家网络安全公司如何利用 MinIO AIStor 找到更好的替代方案
03-07 785
在 SaaS 公司中并不少见的故事中，随着其日志数据扩展到数 EB，云原生网络安全组织面临着大幅上升的云成本。撇开存储成本不谈，仅对这些数据进行作的成本就变成了天文数字。该组织同时受到来自两方面的打击，因为存储成本只是问题的一部分：他们的云存储提供商 Amazon 的 S3 根本没有处理他们所需的日志作所需的性能来处理如此大量的数据。这家网络安全公司将继续在 AWS 上销售其托管服务，但它必须将其内部工作负载从公有云中移出。
博客
使用 AIStor、MLflow 和 KServe 将模型部署到 Kubernetes
03-07 1139
如果您已经走到了这一步，那么您已经端到端地使用了 MLflow。在本文中，我们创建了一个模型，在训练后跟踪其指标，记录模型，并使用我们从头开始安装的 KServe 将其部署到本地 Kubernetes 集群。如果您遵循 MLflow 和 KServe 的在线文档，则会出现一些问题，因此请使用本指南作为起点。
博客
利用 AMD + MinIO 释放 AI/ML 性能
02-28 530
MinIO 的高性能对象存储与尖端的 AMD 处理器和加速器相结合，改变了 AI/ML 工作负载的游戏规则。
博客
为 AIStor 部署选择最佳硬件
02-21 719
从一开始，AIStor 就被设计为在许多不同类型的硬件上高效运行。我们建议我们的用户和客户在纯 JBOD 模式下使用带有磁盘的商用硬件，以确保底层基础设施尽可能简单和高性能。AIStor 是高性能和可扩展性的完美结合，这使得每个数据密集型工作负载都触手可及。
博客
开放表格式和对象存储架构指南
02-20 841
开放表格式是一种标准化的开源框架，旨在高效管理大规模分析数据集。它作为数据文件之上的元数据层运行，促进跨各种处理引擎的无缝数据管理和访问。
博客
使用 AIStor 和 OpenSearch 增强搜索功能
02-20 791
这篇文章于 2025 年 1 月 16 日首次出现在 The New Stack 上。通常，在了解一项受到大量炒作的新技术的合法性时，研究现有的核心能力和历史是有帮助的。如果所讨论的新技术不是基于现有或即将到来的功能，我们可以将其贴上“炒作”的标签并继续前进。历史可以帮助我们应用的另一个试金石只需要常识。新技术是否符合现有趋势？这是朝着进步方向迈出的下一个合乎逻辑的步骤吗？它是否解决了以前难以解决或无法解决的问题？
博客
了解 Agentic AI 的架构师指南
02-10 884
这篇文章于 2025 年 1 月 16 日首次出现在 The New Stack 上。通常，在了解一项受到大量炒作的新技术的合法性时，研究现有的核心能力和历史是有帮助的。如果所讨论的新技术不是基于现有或即将到来的功能，我们可以将其贴上“炒作”的标签并继续前进。历史可以帮助我们应用的另一个试金石只需要常识。新技术是否符合现有趋势？这是朝着进步方向迈出的下一个合乎逻辑的步骤吗？它是否解决了以前难以解决或无法解决的问题？
博客
通过主权私有云缓解地缘政治问题
02-10 650
在任何词典中查找 “主权” 的定义，你都会得到 “至高无上的权力或权威” 的定义。因此，“主权云”的逻辑定义是，由欧盟或政府等单个管理实体控制物理层（数据中心和基础设施）、代码层（质量标准、源代码管理和设计）和数据层（所有权、流程和使用）的云。一个常见的误解是，主权云是所有物理资产都位于某个管理实体边界内的云，数据层内的数字资产永远不允许流向该边界之外的基础设施。虽然这是主权云的一项重要要求，但并不是唯一的要求。云真正主权的另一个关键标准是，它必须只由一个政府支持。要了解为什么这样做是必要的，请考虑下图。
博客
为什么开放式湖仓一体方法很重要：dbt 收购 SDF Labs 的经验教训
02-10 911
dbt （Data Build Tool） 是一个开源 SQL 转换框架，已成为许多现代数据团队的基石，提供灵活性和可访问性。最近，dbt 通过收购 SDF Labs 增强了其产品组合。SDF Labs 是一家总部位于西雅图的初创公司，由 Meta 和 Microsoft 的前工程师于 2022 年创立。该公司开发了一个开发人员平台，旨在增强跨组织的 SQL 理解，使数据团队能够充分利用他们的数据。他们的平台提供的功能包括简化的查询编写和管理、主动质量和治理报告，以及将业务逻辑表示为代码。
博客
用于本地开发的 RedHat OpenShift 上的 AIStor
02-10 953
AIStor 一直是高性能和可互作的云原生对象存储的先驱，这种存储具有多功能性和敏捷性。AIStor 可在无数平台上运行，例如 Kubernetes、AWS、GCP、Azure、裸机 Linux 和许多其他环境。最近，业内出现了一种趋势，即让数据“更贴近”家庭。结果是，组织现在希望将其数据保存在他们拥有的服务器上、自己的数据中心或主机托管提供商处。主要原因是云的成本失控，再加上当前的经济环境。对于大多数应用程序，只要充分了解工作负载，就有可能在本地实现与云相同级别的可扩展性和性能，而成本只是其中的一小部分。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值