机器学习平台架构系列-2-之江天枢

愚昧之山绝望之谷开悟之坡

已于 2022-12-02 18:29:06 修改

阅读量1k

点赞数

分类专栏：机器学习平台文章标签：人工智能

于 2022-11-24 18:06:23 首次发布

本文链接：https://blog.csdn.net/qq_15821487/article/details/128013049

版权

机器学习平台专栏收录该内容

2 篇文章 0 订阅

订阅专栏

1 参考

视频：https://space.bilibili.com/2127832708

官网：http://docs.tianshu.org.cn/docs/

gitee:https://gitee.com/zhijiangtianshu/Dubhe

2 平台搭建编程语言

在这里插入图片描述

3 知识介绍

3.1 一站式平台业务服务

在这里插入图片描述

3.2 平台技术架构

在这里插入图片描述

3.2.1 minIO

minIO:https://blog.csdn.net/SpringForAll/article/details/105962447
前端通过MinIO为用户提供对象存储服务，推荐与NFS服务在同台机器部署，避免出现大批量文件传输、拷贝的网络IO性能问题。

MinIO 是在 Apache License v2.0 下发布的对象存储服务器。它与 Amazon S3 云存储服务兼容。它最适合存储非结构化数据，如照片，视频，日志文件，备份和容器/ VM 映像。对象的大小可以从几 KB 到最大 5TB。

3.2.2 NFS

NFS:https://blog.csdn.net/qq_43561410/article/details/102179129
NFS通过网络挂载，让不同的机器、操作系统可以共享彼此的文件。天枢平台使用NFS作为集群内的文件存储系统，用于存储数据集、模型、算法文件等。

NFS就是Network File System的缩写，它最大的功能就是可以通过网络，让不同的机器、不同的操作系统可以共享彼此的文件。NFS服务器可以让PC将网络中的NFS服务器共享的目录挂载到本地端的文件系统中，而在本地端的系统中来看，那个远程主机的目录就好像是自己的一个磁盘分区一样，在使用上相当便利

3.2.3 Harbor

通过 Harbor 服务，实现天枢平台中各类运行镜像的管理与维护，管理的镜像主要分为两类：模型开发模块中的notebook运行镜像，用于算法的在线编辑与开发功能；训练管理模块中的算法运行镜像，用于模型训练算法的运行载体。
通过 MinIO 服务，为用户提供对象存储服务，推荐与NFS服务在同台机器部署，避免出现大批量文件传输、拷贝的网络IO性能问题。