本文详细介绍了如何使用MindStudio在昇腾Atlas310硬件平台上，借助TSM模型和MindX SDK实现视频分类任务。内容涵盖MindStudio环境搭建，包括Windows服务器环境和集成开发环境的配置，模型介绍，离线和在线推理的步骤，以及数据集处理和模型转换。项目涉及视频数据预处理、模型转换成ONNX和OM格式，以及Pipeline流程编排。此外，还分享了在实践中遇到的问题和解决方案，包括CANN同步失败、模型转换、内存管理和在线推理的处理方法。
目录
1. 写在前面
本文进行的项目以昇腾Atlas310卡为主要的硬件平台，使用TSM模型，基于Kinetics-400数据集，在MindX SDK环境下实现视频分类功能。将测试视频传入脚本进行前处理，模型推理，后处理等功能，最终得到模型推理的精度和性能。项目主要由离线精度测试文件，在线功能测试文件，离线单视频推理性能测试文件，模型文件，测试数据集预处理文件组成。如在实践过程中遇到任何的问题，可以前往华为MindStudio论坛华为云论坛_云计算论坛_开发者论坛_技术论坛-华为云 (huaweicloud.com)寻求帮助，本文在实践过程中遇到的诸多问题均从论坛上获得答案最终解决。本项目视频案例链接如下：使用MindStudio利用TSM模型完成视频分类任务_哔哩哔哩_bilibili
2. MindStudio环境搭建
本项目所处的场景为纯开发场景（分部署形态），详情请参见安装方案（Windows）-安装方案-安装指南-5.0.RC3-MindStudio-文档首页-昇腾社区 (hiascend.com)，该场景下在Windows服务器上安装MindStudio，在纯开发环境需要安装Ascend-cann-toolkit，两者建立连接之后，形成了集成的MindStudio的纯开发环境。昇腾AI设备上运行环境的安装部署操作请参见《CANN 软件安装指南》，此场景运行环境多为端侧、边侧设备如Atlas 500智能小站和Atlas 200 DK开发者套件等。
1. 写在前面
本文进行的项目以昇腾Atlas310卡为主要的硬件平台，使用TSM模型，基于Kinetics-400数据集，在MindX SDK环境下实现视频分类功能。将测试视频传入脚本进行前处理，模型推理，后处理等功能，最终得到模型推理的精度和性能。项目主要由离线精度测试文件，在线功能测试文件，离线单视频推理性能测试文件，模型文件，测试数据集预处理文件组成。如在实践过程中遇到任何的问题，可以前往华为MindStudio论坛华为云论坛_云计算论坛_开发者论坛_技术论坛-华为云 (huaweicloud.com)寻求帮助，本文在实践过程中遇到的诸多问题均从论坛上获得答案最终解决。本项目视频案例链接如下：使用MindStudio利用TSM模型完成视频分类任务_哔哩哔哩_bilibili
2. MindStudio环境搭建
本项目所处的场景为纯开发场景（分部署形态），详情请参见安装方案（Windows）-安装方案-安装指南-5.0.RC3-MindStudio-文档首页-昇腾社区 (hiascend.com)，该场景下在Windows服务器上安装MindStudio，在纯开发环境需要安装Ascend-cann-toolkit，两者建立连接之后，形成了集成的MindStudio的纯开发环境。昇腾AI设备上运行环境的安装部署操作请参见《CANN 软件安装指南》，此场景运行环境多为端侧、边侧设备如Atlas 500智能小站和Atlas 200 DK开发者套件等。
图2-1 纯开发环境（分部署形态）
CANN（Compute Architecture for Neural Networks）是华为公司针对AI场景推出的异构计算架构，通过提供多层次的编程接口，支持用户快速构建基于昇腾平台的AI应用和业务。用户根据实际使用需要，下载对应的CANN软件包，具体安装流程可以参考官网的用户手册。
CANN软件包下载地址
CANN 商用版下载-昇腾社区 (hiascend.com)
CANN安装流程：
安装须知-软件安装-环境准备-5.1.RC1-CANN商用版-文档首页-昇腾社区 (hiascend.com)
2.1 本地Windows服务器环境搭建
MindStudio提供了AI开发所需的一站式开发环境，提供图形化开发界面，支持模型开发、算子开发以及应用开发三个主流程中的开发任务。同时还支持网络移植、优化和分析等功能。依靠模型可视化、算力测试、IDE本地仿真调试等功能，MindStudio能够帮助用户在一个工具上就能高效便捷地完成AI应用开发。同时，MindStudio采用了插件化扩展机制，开发者可以通过开发插件来扩展已有功能。MindStudio支持Windows和Linux两大主流平台。可以根据需要，进行选择下载安装包，具体安装流程，可以参考官网：
官网链接：
MindStudio-昇腾社区 (hiascend.com)
用户手册：
成长地图-5.0.RC3-MindStudio-文档首页-昇腾社区 (hiascend.com)
2.1.1 MindStudio的下载
进入MindStudio官网，下拉界面，点击“立即下载”，如图2-2所示。
图2-2 MindStudio下载界面
进入版本选择界面，最新的版本是MindStudio_5.0.RC3,在本项目中没有选择该版本的MindStudio，下拉界面进入历史版本，在本项目中选择使用MindStudio_5.0.RC2,根据主机系统选择对应的软件包，点击软件包下载，同时需要留意其对应的CANN版本为5.1.RC2，如图2-3所示。
图2-3 版本选择界面
点击软件包下载之后需要在弹出界面勾选“我已阅读并已同意 MindStudio软件许可协议 的条款和条件”，如图2-4所示。
图2-4 软件许可协议
2.1.2 MindStudio的安装
运行下载好的MindStudio安装程序，单击“Next”，进入下一步，如图2-5。
图2-5 MindStudio安装界面
进入下一步后，根据自身需求选取软件安装路径，在此选择默认安装路径，如图2-6.
图2-6 安装路径选取
进入下一界面，选择 “Create Desktop Shortcut”（创建桌面图标）、“Update Context Menu”（以工程方式打开文件夹）、“Update PATH Variable（restart needed）”（配置环境变量），之后点击“Next”如图2-7所示
图2-7 设置选项
默认点击install即可，如图2-8所示
图2-8 安装选项
安装完成，如图2-9所示。
图2-9安装完成
2.2 集成MindStudio开发环境搭建
2.2.1 新建项目
完成以上工作之后，打开MindStudio，出现以下界面，如图2-10所示。Customize为定制界面，用户可以在该界面下进行一些个性化设置，包括主题的选择等；Plugins界面为插件界面，用户可以在该界面下载插件并且查看已经下载的插件；Learn MindStudio界面可以学习MindStudio的详细用法；在此选择Projects界面，点击“New Project”选项新建项目。
图2-10 MindStudio初始界面
进入新建项目界面，选择Ascend APP，“Name”部分为项目名称，“Description”为项目的相关描述，“Project Location”是项目的本地路径，输入项目名称和相关描述之后，最后点击“Change”来配置远端服务器，如图2-11所示。
图2-11 新建项目选项
进入页面之后，点击最右侧“+”号，在进入的界面中输入端口、用户名、密码，之后点击“Test Connection”，显示“Successfully connected”表示成功，最后点击确定退出界面即可，如图2-12所示。
图2-12 配置远端服务器界面
完成远端服务器配置之后，点击右侧文件夹图标，选择Ascend-cann-toolkit软件包的安装目录，之后选择到版本目录5.1.RC2，点击OK，如图2-13所示。
图2-13 选择Ascend-cann-toolkit组件目录
点击Finish，开始同步CANN，如图2-14所示。
图2-14 同步CANN
我在同步CANN的时候遇到了同步失败的问题，通过在华为论坛上进行提问CANN同步失败如何处理。_MindStudio_昇腾_华为云论坛 (huaweicloud.com)，最后确定了是MindStudio版本与CANN版本不匹配的原因，因此重新安装正确版本的MindStudio，成功地同步了CANN.<
最低0.47元/天 解锁文章
扫一扫
2492
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
