Sophnet介绍及云空间申请使用

于 2023-08-17 14:06:19 发布
阅读量279 收藏
点赞数
文章标签： mlir 算法 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lily_19861986/article/details/132339410
版权

Sophnet介绍及云空间申请使用

1 Sophnet简介

1.1 Sophnet是什么

SOPHNET 平台是基于SOPHON智算产品打造的云边统一的AI服务平台，是人工智能算力中心的基础设施，平台通过开放AI训练和AI推理两大核心能力，赋能千行百业。

1.2 Sophnet设计理念

在算力层通过异构的AI算力服务器（云/边），构建算力资源池，在算法层引入不同生态伙伴的算法，形成算法资源池，在平台层支持算力的接入和虚拟化，算法的统一纳管和开放，通过AI训练平台和AITOOL支撑算法的迭代更新，实现训推一体的闭环，通过平台层开放的AI能力，实现应用的不断丰富、成长、创新。
在这里插入图片描述

1.3 Sophnet特性

灵活接入

支持通过K8S、K3S、KubeEdge标准方式接入云侧和边缘侧的各种算力设备，同时也支持通过自研的SSM接入异构的算力设备。

算力设备虚拟化

支持算力设备虚拟化，以裸金属云主机、虚拟机云主机、Docker容器云主机的形式提供AI算力基础设施开放。以Docker容器方式提供的云主机算力绑定灵活，既支持一个云主机绑定多颗芯片的算力，也支持多个云主机共享一颗芯片的算力。

平台提供丰富的云主机操作接口，包括云主机的资源列表、云主机的重置、云主机的应用部署、云主机的状态通知等，以满足上层SAAS平台或PAAS平台的应用需求。

标准的AI算法仓

提供算法包入仓的统一标准，支持多厂家、多类型的算法包/模型管理功能。提供算法服务接口的统一标准，方便业务应用层的对接。支持源于训练平台/第三方算法仓的算法模型的导入，实现训推闭环。

云边协同，多级组网

支持边缘算力，多级汇聚算力，中心算力，通过级联组网，支持构建全网算力架构。

多层次开放

平台多层次开放，支持不同模式与第三方集成。SAAS层逐步开放源代码。PAAS层开放任务调度API接口。 接口包括结构化任务、行为分析任务、人脸识别任务、全结构化任务创建、删除、状态查询等功能。开放算法仓操作的API接口。 接口包括算法资源列表获取、算法包部署、算法包删除、算法包操作通知等功能。IAAS层开放云主机操作的API接口。接口包括云主机列表、云主机重置、云主机账户修改、应用部署、应用删除等功能。算力层开放算力设备之上自研的算力代理服务（ SSM ）API接口。接口包括算力的发现、资源收集、应用部署、外网穿透等功能。

满足公安规范的视图库

深耕公安视频结构化应用场景，符合一系列公安合规及安全性标准，提供公安业务应用中台支撑，系统针对不同应用可以映射到不同的视图库，支持视图库的物理多租。

便捷的运维管理

图形化管理算力设备、算法等信息，支持视频资源的维护、巡检，保证输入视频质量，且能通过完善的资源监控、告警推送等功能，方便客户随时了解系统运行情况。同时完整的日志以及任务生命周期记录方便异常问题的排查与定位。

2 Sophnet部署形态

在这里插入图片描述

2.1 敏捷化部署

采用智能分析一体机，实战业务(可选)、 SOPHNET平台以及分析算法直接部署在一体机设备上，无其他额外配置。适用于对算力需求较少的小型化局点，PoC局点，方案配置简洁，方便快速交付。

2.2 全栈式中心部署

该模式为算力中心标准化部署模式。SOPHNET平台以及实战业务部署于算力服务器，分析算法部署于算力服务器，分析结果存于中心数据库。适用于对算力有较高需求且预算充裕的区县或地市级私有云算力中心局点。

2.3 分域部署

该模式秉承算力逐级建设的思路，除完整的中心算力平台之外，各分域都建设了自有的算力分析能力。同时，各分域仍需要在中心平台上完成实战业务操作。适用于摄像头集中在多个物理地点，而业
务需要集中呈现的场景。该模式极大降低了网络传输压力，减少了交付成本。也可以用于边缘设备接入管理的场景。

2.4 分级部署

该模式为标准算力中心分级部署场景。除完整的中心算力平台之外，还包含若干各同样功能晚上的分中心。其唯一区别在于中央中心包含各分中心的业务数据。适用对算力有较高需求其预算充裕的省、市级算力中心局点。各分中心数据向上汇聚，同时在各级中心都具备业务能力。

3 Sophnet典型应用场景

3.1 AI算力资源池

可满足AI 智算设备（云/边）的接入以及集群管理的需求，以及基于算丰系列AI智算设备的算力虚拟化及云主机开放的需求。此场景SophNet提供IAAS层能力，上层开发者可通过SophNet IAAS层
OPEN API搭建PAAS层和SAAS层平台。实际部署，根据可靠性要求，需要1-2台PC Server。

3.2 AI算法仓

在AI算力资源池基础之上，建设AI算法仓。通过对多类型、多厂商算法的提供统一的纳管标准，支撑算法资源池的不断扩充，从而支撑应用的不断成长。此场景SophNet提供PAAS层能力，上层
开发者可通过SophNet PAAS层OPEN API搭建SAAS层平台。实际部署，根据可靠性要求，需要1-2台PC Server。

3.3 AI简单业务应用

在AI算法仓之上，建设AI简单业务应用平台，如布控、以图搜图等特性功能；此场景SophNet 提供了AI算力资源池、AI算法仓、AI简单业务应用平台、AI运维平台等全栈子系统模块，支持数据接入公安视频图像的综合业务平台。实际部署，根据可靠性要求及数据承载量，做分布式部署，需要数台PC Server。

3.4 AI训推一体

在AI算法仓之上（可携带AI简单业务应用）搭载AI训练平台。针对某些非标准场景，通过AI训练平台生态环境下的算法训练和模型迭代，并与AI算法仓打通，实现从训练到推理的完整闭环，有效提高算法精度。实际部署，根据业务规模需求，通过1台或者数台PCServer实现部署。

4 Sophnet云空间申请

Sophnet-云开发空间提供基于算丰智算产品的标准云开发与测试空间，为开发者在线提供⼀站式开发⽀撑，帮助开发者快速开发。

Sophnet-云开发空间⽬前提供七类云空间：BM1684-PCIE通⽤云开发空间、BM1684X通用云开发空间、SE5-16微服务器云测试空间、TPU编程⼤赛云开发、Ubuntu云桌⾯空间，ROS&SciLab云桌⾯空间。

4.1 平台登陆

开发者可通过算能官⽹https://www.sophgo.com或直接访问https://sophnet.com登陆云空间服务，登陆⽤户名密码与在算能官⽹注册的开发者⽤户名密码⼀致。

在这里插入图片描述

4.2 云空间申请

云空间申请分为个人申请和团队申请。

个人申请

以BM1684-PCIE通用云开发空间为例，该云空间默认搭载3颗1684芯，操作系统为Ubuntu 20.04 64位，内置算能SDK包。

在这里插入图片描述

第一步：点击个人申请。

在这里插入图片描述

第二步：填写申请信息，可根据需求选择使用时长。

在这里插入图片描述

第三步：等待管理员审批，可以在我的工作台查看申请进度。

在这里插入图片描述

注：第一次申请时需完善个人信息。

团队申请

以申请⼀定数量的SE5-16云开发空间为例。

第一步：点击“团队申请”，弹出团队云空间申请弹窗，⽤户填写团队名称、申请时间、申请数量、选择是否⾃动审核（若勾选是，则团队成员申请⾃动审核通过）推荐勾选、选择是否同步空间（若勾选是，则⾃动同步⼀份空间给团队申请⼈）推荐勾选、填写申请⽤途。

在这里插入图片描述

第二步：点击“提交”，需要等待平台管理员审核，卡⽚左上⻆显示的是⽬前分配出去的团队成员空间数量和总的团队空间数量。

在这里插入图片描述

第三步：当团队空间审核通过后，会收到邀请码，可在“我的⼯作台-站内信”查看，若未找到，请联系管理员或销售代表。并将该邀请码分享给需要申请空间的团队成员。

在这里插入图片描述

第四步：团队成员拿到邀请码后，登录云平台，进⼊“云空间申请”，点击右上⽅“邀请码通道”，填写邀请码快速申请团队成员空间。

在这里插入图片描述

点击“提交”后，需要等待团队管理员审核，⽤户可以在“我的⼯作台”中查看当前申请空间的审批状态。

5 Sophnet云空间基本使用

5.1 登录云空间

web终端登录

将⿏标移⾄“进⼊空间”上⽅，会在当前⻚⾯弹出⼀个⼩窗⼝。点击“云空间Web终端”链接，会⾃动弹出新的web窗⼝并进⼊云主机。进⼊云主机后，云主机的⽤户使⽤⽅式与物理机完全⼀致。

在这里插入图片描述

本地终端登录

开发者也可以通过本地终端直接进⼊云主机：点击“复制SSH登录命令”按钮，会将SSH登录命令复制到剪贴板；在任意终端黏贴登录命令并回⻋，会提示输⼊登录密码；此时点击“复制SSH登录密码”按钮，黏贴⾄终端并确认，则会顺利登⼊云主机。
在这里插入图片描述

登录成功如下图所示。

在这里插入图片描述

5.2 文件传输

如果⽤户需要在云空间主机与本地之间进⾏⽂件传输，可以点击“云空间⽂件系统“链接，进⼊⽂件传输与管理⼯作台。⽂件管理⼯作台操作的云空间主机⽬录默认是在/tmp下⾯，⼯作台提供了新建、删除、剪切、复制⽂件或⽂件夹的功能。

在这里插入图片描述

如果要将本地⽂件上传到云空间，可以在右侧云⼯作空间点击右键，选择上传⽂件。

在这里插入图片描述

在弹出的上传⽂件弹出框中，将要上传的本地⽂件拖拽进去即启动上传，要注意的是，应尽量避免上传超⼤型⽂件，为防⽌恶意攻击，平台会对普通⽤户的上传速度及上传流量做⼀定限制。

在这里插入图片描述

需要下载云空间文件时，选中要下载的⽂件，点击右键，选择下载。

在这里插入图片描述

5.3 PCIE云空间驱动挂载

开发者在第⼀次登录分配的PCIE云开发空间主机后，需要⼿动挂载⼀下TPU驱动，步骤如下：

第一步：开发者可以通过下列命令查看空间内已分配的TPU资源，正常情况下，⽤户可以看到空间内挂载有3颗BM1684TPU资源。（如未分配到资源，请直接联系技术服务⼈员。）

lspci | grep 1684

在这里插入图片描述

第二步：安装TPU驱动。

cd /home/sophgo/xxx/scripts/

sudo ./install_driver_pcie.sh

xxx处为内置SDK包目录

第三步：完成驱动程序安装后，通过如下命令检查驱动安装是否成功。

source envsetup_pcie.sh

bm-smi

如下图所示表示安装成功。

在这里插入图片描述

完成云空间驱动挂载（只针对分配了TPU的测试空间）后，⽤户即可进⾏基于SOPHON TPU加速的相关开发与测试⼯作。

算能开发者社区
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
博客
TPU编程竞赛系列｜第八届集创赛“算能杯“报名开启！
01-19 1105
CV1800B/SG200x 系列开发板是基于算丰CV1800B/SG200x处理器所设计的开源硬件，能够同时运行基于LINUX和RTOS的操作系统，为专业人士、工业OEM企业、物联网爱好者、业余爱好者、DIYers和创作者提供了一个可靠、低成本且极具功能的平台。我们期待参赛者们能够充分利用TPU算力，推动边缘设备智能化应用的创新和发展，在兼备边 缘系统创新性、实用性和复杂性的同时，鼓励将大语言模型、边缘计算等新兴技术应用于不同场景和垂直领域。可广泛用于教育、文旅、工业、园区、物联设备等。
博客
milkv-duo cvi-mmf 硬件加速 JPG 解码性能测试
01-19 912
本文是基于 nihui 老师的 opencv-mobile 对其支持 milkv-duo cvi-mmf 硬件加速 JPG 解码的测试。opencv-mobile 现已支持 milkv-duo cvi-mmf 硬件加速 JPG 解码仅供学习交流使用，侵删！opencv-mobile highgui 模块在运行时动态加载 cvi 库，JPG 硬件解码无需修改代码，与自动支持支持EXIF自动旋转，支持直接解码为grayscale。
博客
【2023 CCF 大数据与计算智能大赛】基于TPU平台实现超分辨率重建模型部署 基于Real-ESRGAN的TPU超分模型部署
01-05 1300
也就是说，这个下采样的模糊核是预先定义好的。模型部署使用的是算能提供的C++版本的 SophonSDK中的bmcv等加速库进行图像加载、数据前处理、模型推理、数据后处理等操作。SophonSDK是算能科技基于其自主研发的 AI芯片所定制的深度学习 SDK，涵盖了神经网络推理阶段所需的模型优化、高效运行支持等能力，为深度学习应用开发和部署提供易用、高效的全栈式解决方案。模型部署使用的是算能提供的C++版本的 SophonSDK中的bmcv等加速库进行图像加载、数据前处理、模型推理、数据后处理等操作[3]。
博客
【2023 CCF 大数据与计算智能大赛】基于TPU平台实现超分辨率重建模型部署 基于QuickRNet的TPU超分模型部署
01-05 1070
为了结合1.2.1和1.2.2的优缺点，本方案提出使用膨胀推理多推少取的方案，将原始图像四周填充10个像素，采用192*192的滑窗，按照182的步长进行滑动，其中10为超参数。相比于1.2.1的方案，有重叠区域的分块类似的但是采用滑窗步距为96，这种方案可以有效的减少1.2.1重叠区域带来的问题，但是如何融合重叠区域的结果是比较大的问题，采用均值的方案会让重叠区域采样的效果变得平滑，但是降低了锐化的效果，并且不同的滑窗步距会影响niqe值和推理的速度。
博客
【2023 CCF 大数据与计算智能大赛】基于TPU平台实现超分辨率重建模型部署 基于FSRCNN的TPU平台超分辨率模型部署方案
12-28 1382
我们比较GSR与CSR和GSR与ESR的t检验p值，相较后者，GSR与CSR的p值较大，这也就意味着，从统计平均的意义而言，GSR与CSR之间的统计特性更加接近。受此启发，对于增大图像分辨率的任务，直接通过插值算法放大的质量通常比使用超分辨率模型放大的效果更差，因此我们可以仅使用超分辨率模型放大图像中对视觉效果影响更大的一部分，从而在时间和效果之间达到更好的平衡。实验结果表明，我们的方法在牺牲一部分图像质量评估指标NIQE的情况下，显著减少了处理时间，在赛题给定的评价指标上具有较高的得分。
博客
【2023 CCF 大数据与计算智能大赛】基于TPU平台实现超分辨率重建模型部署 基于预训练ESPCN的轻量化图像超分辨率模型TPU部署方案
12-28 1218
考虑到TPU设备的计算性能相对较低，我们主要调研了轻量化的图像和视频超分辨率网络，并先后尝试了Real-ESRGAN[1]、NinaSR[4]、CARN、FSRCNN、ESPCN[2]等多种网络结构，最后选定了使用ESPCN。模型编译过程中需要确定输入张量的尺寸，虽然TPU文档里指出支持动态大小输入，但可用的SDK并未提供此功能，因此为了应对尺寸各异的输入图像，做统一尺寸的图像分块是必要的步骤。分块大小直接决定了分块数量，间接决定了模型处理处理的事件，因此合适的分块大小选取可以节省不必要的额外计算开销。
博客
拥抱开源生态，算能携手软件所 PLCT 实验室联合举办 RISC-V 软件移植优化锦标赛
11-17 230
RISC-V已在MCU/IoT领域出货数十亿，正向桌面计算、HPC、AI、数据中心等大算力领域挑战。为了推动RISC-V生态迅速发展，算能作为RISC-V生态的领先企业，与RISC-V 中国社区、中科院软件所PLCT实验室联合发起“RISC-V软件移植及优化锦标赛”活动。算能致力于成为全球领先的通用算力提供商，专注于深度学习、RISC-V 处理器等算力产品的研发和推广应用，遵循全面开源开放的生态理念 ，为互联网、城市运营、智算中心、泛安防、智能制造、AIGC等应用场景提供算力产品及整体解决方案。
博客
Stable Diffusion大模型巅峰对决，第五届全球校园人工智能算法精英赛正式启动！
11-08 598
近日，2023第五届全球校园人工智能算法精英赛正式开启报名。作为赛题合作方，清湛联合算丰承办了“算法专项赛”赛道，提供赛题。，同时为参赛选手提供了丰富的云端TPU资源及Airbox算力硬件。「面向Stable Diffusion的图像提示语优化」
博客
Duo cv1800b first time 搭建C编译及远程gdb环境
11-06 341
使用Duo 搭建C编译及远程gdb环境教程。
博客
stb_image jpg解码 RVV优化和在 milkv-duo 上的测试
10-12 142
来源：转载自https://forum.sophgo.com/t/stb-image-jpg-rvv-milkv-duo/240，原作者stb_image jpg解码 RVV优化和在 milkv-duo 上的测试。
博客
TPU编程竞赛｜算丰助力2023 CCF大数据与计算智能大赛！
10-09 301
Stable Diffusion模型以扩散过程为基础，能够精准捕捉图像细节和纹理，开创了图像生成领域的新可能性。但直接利用模型生成高分辨率图像的效率较低，通常需要将其与超分辨率重构模型结合。因此，借助TPU平台部署高效的超分辨率模型，有利于进一步挖掘Stable Diffusion模型潜力，提升高分辨率图像生成效率。
博客
TPU编程竞赛｜Stable Diffusion大模型巅峰对决，第五届全球校园人工智能算法精英赛正式启动！
10-09 2369
TPU编程竞赛，提供如何在TPU部署Demo关注算丰SOPHON，参与更多赛事。
博客
TPU-MLIR——实现Chatglm2-6B大模型移植部署
09-21 391
本项目实现BM1684X部署语言大模型。通过编译器将模型转换成bmodel，并采用c++代码将其部署到BM1684X的PCIE环境，或者SoC环境。
博客
深度学习编译器关键组件
09-14 305
为了避免这种情况，DL编译器采用了两种方法来实现硬件相关的优化：1）在LLVM的上层IR（例如，基于Halide的IR和基于Polyhedral的IR）中执行特定于目标的循环变换；TVM将Halide IR改进为符号IR，它消除了对LLVM的依赖，重构了项目模块的结构和Halide的IR设计，追求更好的组织以及对graph-IR和前端语言（如Python）的可访问性。事实上，相同的操作在不同的数据布局中的性能是不同的，并且最佳的布局在不同的硬件上也是不同的。因此，DCE和CSE是在其他图优化之后应用的。
博客
实现CenterNet图像分割算法模型的转换和量化（SDK0301-转ONNX编译）
09-07 294
如果模型是图片输入, 在转模型之前我们需要了解模型的预处理。如果模型用预处理后的npz文件做输入, 则不需要考虑预处理。如果模型是图片输入, 在转模型之前我们需要了解模型的预处理。然后用校准表, 生成对称或非对称bmodel。如果对称符合需求, 一般不建议用非对称, 因为 非对称的性能会略差于对称模型。如果对称符合需求, 一般不建议用非对称, 因为 非对称的性能会略差于对称模型。输出的性能结果, 来估算模型最大的fps, 来选择合适的模型。输出的性能结果, 来估算模型最大的fps, 来选择合适的模型。
博客
Milk-V Duo开发板实战——基于MobileNetV2的的图像分类
08-31 885
本教程介绍使用工具链对模型进行转换，生成MLIR以及MLIR量化成INT8模型，并在开发板上进行部署测试，完成图像分类任务，涉及以下步骤：搭载的是，该芯片支持和,目前不支持TFLite模型量化数据类型方面，目前支持以下对此3个步骤展开详细介绍。
博客
ResNet18云空间部署
08-24 274
转成mlir文件后, 会生成一个 ${model_name}_in_f32.npz 文件, 该文件是模型的输入文件。编译完成后, 会生成名为 ${model_name}_1684x_f32.bmodel 的文件。指定模型定义文件, 比如`.onnx`或`.tflite`或`.prototxt`文件。指定输入的shape, 例如[[1,3,640,640]];如果不指定, 则resize成模。指定输出的名称, 如果不指定, 则用模型的输出;图片每个通道的比值, 默认为1.0,1.0,1.0。
博客
论文讲解——TPU-MLIR: A Compiler For TPU Using MLIR
08-10 434
对经过优化的TOP MLIR进行多次前向推理，获取每个中间Tensor的数据，并计算它们的统计信息，通过KL方法得到初步的阈值，然后使用误差/余弦相似度方式再微调阈值，是的INT8的计算结果和FP32的结果尽量相似。通过深层次的依赖关系来进行更为合理的切割：越深依赖关系越复杂，不限于一个op层，不是在一层conv上做切割，而是计算一个conv输出被下一个conv利用的相关性，做整个group的相关性的切割，用计算来代替搬运。TPU Dialect是用于表示TPU芯片的Kernel库，与具体的设备有关。
博客
Swintransformer模型的优化
08-07 488
自从Transformer在NLP任务上取得突破性的进展之后，业内一直尝试着把Transformer用于CV领域。之前的若干尝试都是将Transformer用在了图像分类领域，但这些方法都面临两个非常严峻的挑战，一是多尺度问题，二是计算复杂度的问题。基于这两个挑战，swint的作者提出了一种层级式提取的Transformer，并通过移动窗口的方式来学习特征。在窗口内计算自注意力可以带来更高的效率；同时通过移动的操作，让相邻的窗口之间有了交互，变相达到了一种全局建模的能力，进而解决了上面两个问题。
博客
TPU-NNTC 编译部署LPRNet 车牌识别算法
08-03 367
LPRNet(License Plate Recognition via Deep Neural Networks)，是一种轻量级卷积神经网络，可实现无需进行字符分割的端到端车牌识别。LPRNet不需要字符预先分割，车牌识别的准确率高、算法实时性强、支持可变长字符车牌识别。对于字符差异比较大的各国不同车牌均能够端到端进行训练。LPRNet是第一个没有使用RNN的实时轻量级OCR算法，能够在各种设备上运行，包括嵌入式设备。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值