神点AI云原生机器学习平台

1、平台介绍

神点AI云原生一站式机器学习/深度学习AI平台，支持sso登录，多租户/多项目组，数据资产对接，notebook在线开发，拖拉拽任务流pipeline编排，多机多卡分布式算法训练，超参搜索，推理服务VGPU，多集群调度，边缘计算，serverless，标注平台自动化标注，数据集管理，大模型一键微调，私有知识库，AI应用商店，支持模型一键开发/推理/微调，私有化部署，支持国产cpu/gpu/npu芯片，支持RDMA。

2、 背景

传统算法落地流程：从申请机器，配置环境，拉取数据，处理数据，算法训练，调试，模型测试，服务化上线全流程，算法工程师，在下面的每个环境都浪费了很多时间，而不是主要集中在算法模型的构建上

神点AI一站式的机器学习平台，从平台架构上解决下面几个问题时做了一些更贴近用户实用化考虑。

3、平台介绍

4、整体架构

5、功能目录

模块分组	功能	功能明细
基础能力	项目组管理	AI平台需要通过项目划分，支持配置相应项目组用户的权限，任务/服务的挂载，资源组，集群，服务代理，项目组内角色应用
基础能力	网络	支持非80端口，支持公网/域名，支持反向代理和内网穿透方式访问，支持https
基础能力	用户管理 角色管理/权限管理	管理平台用户的基本信息，组织架构，支持账号密码，rbac权限体系。增加修改和删除，清理等操作的历史记录
基础能力	计量计费功能	1、支持平台资源限制的分配和查看；项目组资源限制，租户资源限制、任务资源限制，项目组下个人的资源限制，包括开发资源，训练资源、推理资源等。 额度限制限制在notebook，docker构建，pipeline，超参搜索，内部服务，推理服务中的生效。限制支持单任务，并行任务总和和历史任务总和等方法2、提供统一的开发、训练、推理服务资源监控，从租户、项目、任务角度分析模型资源分配及使用情况。 3、支持自定义计费模式，通过计量结果自定义获取计费值
基础能力	SSO单点登录	账号密码注册自动登录，支持对接公司账号体系AUTH_OID/AUTH_LDAP/AUTH_REMOTE_USER等登录注册方式，支持消息推送。增加登录验证，强密码，远程用户，登录频率限制，密码密文传输等
基础能力	支持多种算力	提供多种规格的资源支持不同的使用场景，cpu/gpu等 支持T4/V100/A100等多种卡型，支持arm64芯片，支持vgpu等模式。支持国产gpu，支持海光gpu，海飞科dcu，华为npu，支持rdma调度，mellanox。支持gpu禁用模型，共享模式，独占模式
基础能力	多资源组/多集群	支持划分多资源组，支持ipvs的k8s网络模式，支持多k8s集群，支持containerd容器运行态
基础能力	边缘集群	支持边缘集群模式，支持边缘节点开发，训练，推理
基础能力	serverless集群模式	支持腾讯云serverless集群模式，（notebook,pipeline,推理服务模块支持）阿里云serverless集群模式（notebook,pipeline,推理服务模块支持）
基础能力	数据库存储	支持外部mysql作为元数据库支持外部postgres作为元数据库
基础能力	存储盘管理	支持web界面添加存储盘，支持项目组绑定，notebook pipeline 推理服务，直接在pod中挂载外部分布式存储。支持nfs，cfs，oss，nas，cos，glusterfs，cephfs，s3/minio
基础能力	国际化能力	mlops支持配置多语言配置，目前支持中英文
数据管理	数据地图	元数据库表管理，指标，维表
数据管理	数据计算	sqllab交互查询，支持mysql，postgresql等计算引擎
数据管理	ETL编排	数据ETL任务流编排，任务管理等对接公司数据中台相应计算/调度引擎
数据管理	数据集管理	允许用户随时上传样本集（图片、音频、文本等），支持sdk进行数据集对接，支持数据集一键探索功能
数据管理	数据标注	支持标注平台，图/文/音/多模态各类型标注能力，对接一站式机器学习平台，支持自动化标注(需购买aihub)：支持目标识别，目标边界识别，目标遮罩识别，图片分类，图片描述，ocr，关键点检测。支持大模型自动化标注：文本分类，文本翻译，命名实体识别，阅读理解，问答，摘要提取。
开发环境	镜像功能	镜像仓库/镜像管理/在线构建镜像。同时提供平台所有镜像，包括模板镜像/服务镜像/notebook镜像/gpu基础环境的构建方法和构建后镜像，支持dockerfile在线构建支持同一仓库多个秘钥配置
开发环境	notebook	支持基于开源的Jupyterlab/vscode，提供在线的交互式开发调试工具；提供多种可选环境ide和开发示例，支持资源类型选择 支持大数据版本，机器学习版本，深度学习版本大数据版本支持用户信息和内网spark链接支持ssh remote与notebook对接远程开发，方便快速将本地代码提交到平台的训练环境。ssh隧道代理，单端口开放支持matlab，Rstudio等在线ide支持gpu，cpu，内存，监控，支持git交互支持自定义notebook镜像，便于封装公司自己的notebook多环境notebook，支持R语言/julia语言/python2.7/python3.6/python3.7/python3.8/python3.9/python3.10环境和cube-studio专有环境支持tensorboard任务可视化notebook支持环境镜像保存jupyter支持密码保护notebook支持整卡占用，虚拟卡占用，gpu共享占用支持notebook启动自动初始化环境
模型训练	拖拉拽任务流编排调试	提供拖拽式交互开发环境，支持开发者以拖拽的方式完成业务逻辑的PIPLINE；支持单任务调试，训练支持多种资源规格（CPU、GPU等），支持卡型的选择，超时重试等。分布式任务模板支持单任务调试用户镜像而非模板镜像分布式任务模板支持gpu型号透传，rdma高速通信，拉取秘钥透传pipeline调试，支持定时调度，补录，并发限制，超时，实例依赖等，任务管理，workflow实例管理，资源监控，支持任务输入输出，任务流全局变量，文本/图片/echart结果可视化，支持workflow暂停和恢复。支持单任务和pipeline运行中任务监听端口提供运行中服务监听能力任务流支持任务推荐
模型训练	主流功能算子	基础算子：自定义镜像，逻辑节点，python数据同步：数据集导入，datax，模型导入数据处理工具：hadoop/spark作业提交，volcanojob/ray分布式数据处理，sparkjob特征处理：-数据合并，包含union、join操作-去除重复样本-数据变换，包括boxcox转换、二值化、数据类型转换、dct变换、根据函数转换、ma移动平均、多项式展开-非数值型变量处理，包括hash、根据统计量转换、one-hot-异常值检测-获取变量的统计量-去除值过于单一的变量-删除缺失率过高的值-删除缺失率过高的值-填充缺失值-数据离散化，等宽、等频、聚类离散化-标准化、正则化、归一化，有最大绝对值归一化、最大最小归一化、z_score标准化-索引处理，包含增加索引、索引转列、列索引重命名-排序-执行sql-hadamard乘积-特征组合，用于衍生特征-降维，包括pca降维和卡方降维-特征重要性，通过随机森林、逻辑回归、xgboost等模型计算特征重要性，可计算特征的iv值、互信息值、方差等-特征向量间的相关性计算-数据拆分，包括列内拆分、列间拆分、行间拆分、svd奇异值分解-采样，包括随机采样、分层采样、过采样、欠采样传统机器学习：ray-sklearn分布式，xgb单机训练推理传统机器学习算法：ar/arima时间序列算法/random-forest/random-forest-regression/lr/lightgbm/knn/kmean/gbdt/decision-tree/pca/lda/catboost/xgb/超参搜索分布式深度学习框架：tf/pytorch/mxnet/horovod/paddlejob/mindspore分布式训练分布式加速框架：mpi/colossalai/deepspeed/horovod/megatron模型处理：模型评估，模型格式转换模型服务化：模型注册，模型离线推理，模型部署媒体分布式处理：分布式媒体下载，视频提取图片，视频提取图片
模型训练	算子自定义	支持算子自定义，通过web界面操作将自定义算法代码镜像，注册为可被他人复用的pipeline算子
模型训练	自动学习	面向非AI背景的用户提供自动学习服务，用户选择某一个场景之后，上传训练数据即可自动开始训练和模型部署，支持示例automl任务流导入导出
模型训练	自定义镜像	面向高级 AI 开发者，提供自定义训练作业（执行环境 + 代码）功能；
模型训练	自动调参	基于单机/分布式自动超参搜索
模型训练	TensorBoard作业	实时/离线观察模型训练过程中的参数和指标变化情况
模型管理 推理服务	内部服务	支持开发或运维工具快捷部署，提供mysql-web，postgresql web，mobgo web， redis web，neo4j，rstudio等开源工具
模型管理 推理服务	模型管理	模型管理用于对模型多版本管理，支持模型发布为推理服务
模型管理 推理服务	推理服务	支持ml/tf/pytorch/tentortrt/onnx常规模型的多版本的0代码发布。支持gpu卡型选择，支持vgpu，独占，共享占用，支持cpu/mem/gpu等弹性伸缩，支持服务优先级，支持远程模型路径,支持流量分流，流量复制，sidecar配置，支持泛域名配置，支持配置文件挂载，启动目录/命令/环境变量/端口/指标/健康检查等 支持调试环境/测试环境/生产环境 支持域名/ip代理多种形式支持服务负载指标监控支持多版本服务滚动升级和回滚，支持单pod滚动发布支持禁用k8s service负载均衡器提供ml/tf/pytorch/tentortrt/onnx常规模型推理服务镜像 支持用户自定义模型推理镜像
监控	整体资源	所有集群，所有计算机器的使用情况，包括机器的所属集群，所属资源组，机器ip，cpu/gpu类型和卡型，当前cpu/内存/gpu的使用率所有集群，所有计算pod的使用情况，包括pod所属集群，所属资源组，所属命名空间，调度ip，pod名称，启动用户，cpu，gpu，内存的申请使用率整体资源页面，支持管理员批量删除
监控	监控体系	所有机器的gpu资源的使用情况，所有机器的内存/cpu/网络io/磁盘io的负载情况，所有pod的内存/cpu/gpu/网络io负载情况所有推理服务的内存/cpu/gpu/qps/吞吐/vgpu负载情况支持ib流量监控
模型应用市场	模型应用管理方案	提供studio sdk，提供模型开发规范和使用规范
模型应用市场	模型应用管理方案	提供web端模型应用体验，支持同步/异步推理
模型应用市场	模型应用管理方案	提供开发多个python cuda版本的基础镜像
模型应用市场	预训练模型	提供视觉，听觉，nlp，多模态等400+预训练模型，提供预训练模型的模型加载和推理能力，可直接一键部署服务，并提供api
模型应用市场	模型市场	aihub应用对接studio平台进行卡片式展示
模型应用市场	模型一键开发	提供一键转notebook开发，提供符合当前模型所需环境的jupyter
模型应用市场	模型一键微调	支持一键转pipeline微调链路，包括示例数据集下载，微调，模型注册，模型部署，支持微调后模型部署
模型应用市场	模型一键部署web	提供模型一键部署提供手机端和pc端web界面和api，和demo示例弹窗演示
模型应用市场	模型自动化标注	支持部署对接labelstudio自动化标注
模型应用市场	数据集sdk	支持通过python sdk搜索上传下载数据集，支持数据集的加解密/解压缩/数据集基础信息查看等
模型应用市场	notebook sdk	支持通过api，对接studio创建notebook，并跳转到指定目录，用于其他算法平台在当前平台的调试和演示
模型应用市场	pipeline训练sdk	支持AI开发主流语言 Python，提供Python SDK支持用户通过SDK来进行pipeline任务流管理和训练任务启动以及任务流编排
模型应用市场	推理服务sdk	提供python sdk，对接studio进行推理服务的发布，服务升级
大模型	大模型分布式多机多卡	支持分布式多机多卡训练，例如mpi/deepspeed/Colossal-AI
大模型	支持大模型推理	支持chatglm/chatglm2/lalma/llama2/通义千问部署
大模型	支持大模型微调	支持chatglm2/llama2/baichuan2 lora微调
大模型	智能对话	提供支持多场景对话，支持提示词构建，推理接口配置，llm问答，支持问询中模型切换，清理，历史上下文
大模型	私有知识库	私有知识库配置，私有知识库召回
大模型	私有知识库	支持召回列表模式
大模型	私有知识库	支持aigc模式
大模型	私有知识库	支持微信公众号服务号对接
大模型	私有知识库	支持企业微信群聊机器人对接
大模型	私有知识库	支持钉钉群聊机器人对接

5、关注v信公众号“神点科技”获取平台演示地址