Vitis AI 基本认知（入门 Vitis AI 开发环境+运行模型检查器）

已于 2024-08-21 10:19:49 修改
阅读量1.5k 收藏 26
点赞数 16
分类专栏： Vitis AI 文章标签： 人工智能 Vitis AI
于 2024-04-06 15:03:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DongDong314/article/details/137428845
版权

目录

1. 介绍

1.1 Vitis AI 是什么？

1.2 Vitis AI 可以做什么？

1.3 Visits AI 怎么用？

2. 配置Vitis AI环境

3. 使用inspector检查模型

4. 查看模型的结构

5. 总结

1. 介绍

1.1 Vitis AI 是什么？

Vitis AI 是赛灵思公司推出的一款综合 AI 推断开发平台，它可以帮助开发者在赛灵思的 FPGA 和自适应 SoC 上实现高效的 AI 应用部署。它是一个强大而灵活的 AI 开发平台，它可以充分利用赛灵思硬件平台的优势。

  • Vitis AI 在 Linux 环境中运行，并使用命令行操作。

1.2 Vitis AI 可以做什么？

Vitis AI 可以做很多事情，例如：

  • 优化和编译深度学习模型，使其适应赛灵思硬件平台的架构和性能。
  • 提供丰富的 AI 库，包括常用的计算机视觉和自然语言处理模型，以及相应的推断接口。
  • 提供多种工具和框架，如 Vitis Model Composer, Vitis Video Analytics SDK, Vitis AI Optimizer 等，以支持不同层次的开发需求。
  • 提供多种示例设计和教程，展示如何在赛灵思硬件平台上实现各种 AI 应用场景。

1.3 Visits AI 怎么用？

第一步：在ubuntu环境下，执行如下命令：

git clone --recurse-submodules https://github.com/Xilinx/Vitis-AI
cd Vitis-AI
docker pull xilinx/vitis-ai-cpu:latest

第二步，可以使用了………完………

(^_^)，当然不是这么简单，Vitis AI 不仅仅是一个工具，而是一个综合的 AI 推断开发平台，它包括了从模型优化到应用部署的全流程支持。需要做的不只是执行几条命令，还需要了解赛灵思硬件平台的特点，选择合适的模型和框架，使用 Vitis AI 提供的工具和库进行优化和编译，最后在目标设备上运行您的 AI 应用。这个过程可能会遇到一些挑战和困难，但也会带来很多乐趣和收获。

Xilixn官方对于构建Vitis AI环境有非常详细的说明，我主要参考这个链接：

https://xilinx.github.io/Vitis-AI/3.0/html/docs/install/install.html

这个链接介绍了如何在不同的操作系统和硬件平台上安装和配置 Vitis AI 的相关组件，包括 Vitis AI 优化器、Vitis AI 库、Vitis Model Composer 等。这些组件可以帮助我对深度学习模型进行优化和编译，以适应赛灵思硬件平台的架构和性能。

并且我并不打算使用GPU来优化模型（主要是我本地PC性能并不高），所以我直接使用CPU版本的Vitis AI docker来进行模型的量化、编译和部署。Vitis AI docker 是一个预先配置好的 Vitis AI 环境，它可以让我在一个容器中运行 Vitis AI 的所有工具和库，而不需要在本地安装任何依赖。CPU版本的Vitis AI docker 可以在没有 GPU 的机器上运行，但是模型优化的速度会比 GPU 版本慢一些。

实际上，我会选择通过云端的计算资源进行模型优化，这些云端资源都可以即用付费的，使用pytorch或者tensorflow原生的优化方法，最后使用Vitis AI来编译部署即可。这样我可以利用云端的强大的计算能力和灵活的扩展性，对模型进行更快速和更高效的优化。我可以使用 pytorch 或者 tensorflow 提供的一些优化技术，如剪枝、量化、蒸馏等，来减少模型的大小和复杂度。然后我可以使用 Vitis AI compiler来将优化后的模型转换为赛灵思硬件平台支持的格式，并生成相应的xmodel，来在目标设备上部署我的 AI 应用。

2. 配置Vitis AI环境

安装Vitis AI确实非常简单，只需一条命令：

docker pull xilinx/vitis-ai-cpu:latest

只需等待docker镜像下载完毕，运行docker images即可查看所有docker镜像。

>> docker images
---
REPOSITORY            TAG       IMAGE ID       CREATED         SIZE
hello-world           latest    9c7a54a9a43c   5 months ago    13.3kB
xilinx/vitis-ai-cpu   latest    41ed5c7e3331   16 months ago   19.5GB

然后切换到Vitis AI目录，启动docker。

./docker_run.sh xilinx/vitis-ai-cpu:latest

看到如下画面，表示Vitis 安装完毕：

Setting up dong 's environment in the Docker container...
usermod: no changes
Running as vitis-ai-user with ID 0 and group 0 

==========================================
 
__      ___ _   _                   _____
\ \    / (_) | (_)            /\   |_   _|
 \ \  / / _| |_ _ ___ ______ /  \    | |
  \ \/ / | | __| / __|______/ /\ \   | |
   \  /  | | |_| \__ \     / ____ \ _| |_
    \/   |_|\__|_|___/    /_/    \_\_____|
 
==========================================

Docker Image Version: 2.5.0.1260   (CPU) 
Vitis AI Git Hash: 502703c 
Build Date: 2022-06-12

接下来根据所使用的深度学习框架激活对应的环境，比如：

conda activate vitis-ai-pytorch
conda activate vitis-ai-tensorflow2

本文选择pytorch：

(vitis-ai-pytorch) Vitis-AI /workspace >

其实到这步，Vitis AI的环境就算配置完毕了，但为了更方便使用Vitis AI，本文再安装一个Jupyter Lab的server，这样我们后续使用Vitis AI会非常方便。

(vitis-ai-pytorch) Vitis-AI /workspace > jupyter --version
---
Selected Jupyter core packages...
IPython          : 7.33.0
ipykernel        : 6.13.1
ipywidgets       : 7.7.0
jupyter_client   : 7.3.4
jupyter_core     : 4.10.0
jupyter_server   : not installed
jupyterlab       : not installed
nbclient         : 0.6.4
nbconvert        : 6.5.0
nbformat         : 5.4.0
notebook         : 6.4.12
qtconsole        : 5.3.1
traitlets        : 5.2.2

可以看到，原生Vitis AI环境并不包含jupyter_server和jupyterlab，需要手动安装：

(vitis-ai-pytorch) Vitis-AI /workspace > pip install jupyterlab

安装完毕，我们再次查看jupyter版本：

(vitis-ai-pytorch) Vitis-AI /workspace > jupyter --version
---
Selected Jupyter core packages...
IPython          : 7.33.0
ipykernel        : 6.13.1
ipywidgets       : 7.7.0
jupyter_client   : 7.3.4
jupyter_core     : 4.12.0
jupyter_server   : 1.24.0
jupyterlab       : 3.6.6
nbclient         : 0.6.4
nbconvert        : 6.5.0
nbformat         : 5.4.0
notebook         : 6.4.12
qtconsole        : 5.3.1
traitlets        : 5.9.0

至此，Vitis AI环境配置完毕。

3. 使用inspector检查模型

运行jupyterlab，新建Notebook：

image.png

导入相关python包和要分析的深度学习模型，本文以resnet18为例：

import torch
from torchvision.models import resnet18
from pytorch_nndct.apis import Inspector
from IPython.display import Image

进行必要的配置，本文KV260中的DPU为例，Target为DPUCZDX8G_ISA1_B4096，resnet18的输入shape为[batchsize, 3, 224, 224]：

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

target = "DPUCZDX8G_ISA1_B4096"
inspector = Inspector(target)

model = resnet18(pretrained=True)
model.eval()
dummy_input = torch.randn(1, 3, 224, 224)

inspector.inspect(model, (dummy_input,), device=device, output_dir="inspect", image_format="png")

执行上述单元格，得到如下结果：

[VAIQ_NOTE]: =>Inspector is initialized successfully with target:
name: DPUCZDX8G_ISA1_B4096
type: DPUCZDX8G
isa_version: 1

[VAIQ_NOTE]: =>Start to inspect model...
[VAIQ_NOTE]: =>Quant Module is in 'cpu'.
[VAIQ_NOTE]: =>Parsing ResNet...
[VAIQ_NOTE]: Start to trace model...
[VAIQ_NOTE]: Finish tracing.
[VAIQ_NOTE]: Processing ops...
██████████████████████████████████████████████████| 71/71 [00:00<00:00, 596.12it/s, OpInfo: name = return_0, type = Return]                                                                                
[VAIQ_NOTE]: =>Doing weights equalization...
[VAIQ_NOTE]: =>Quantizable module is generated.(inspect/ResNet.py)
[VAIQ_NOTE]: All the operators are assigned to the DPU(see more details in 'inspect/inspect_DPUCZDX8G_ISA1_B4096.txt')
[VAIQ_NOTE]: Dot image is generated.(inspect/inspect_DPUCZDX8G_ISA1_B4096.png)
[VAIQ_NOTE]: =>Finish inspecting.

模型检查完毕，将在工作目录下新建inspect文件夹，并且包含四个文件：

image.png

它们的作用如下：

  • inspect_DPUCZDX8G_ISA1_B4096.gv：这是一个 Graphviz 格式的文件，它描述了模型在 DPU 上的计算图，包括各个节点的名称、类型、输入输出、参数等信息。
  • inspect_DPUCZDX8G_ISA1_B4096.png：这是一个 PNG 格式的图片，它展示了模型在 DPU 上的计算图的可视化效果，可以直观地看到模型的结构和流程。
  • inspect_DPUCZDX8G_ISA1_B4096.txt：这是一个文本格式的文件，它记录了模型在 DPU 上的执行情况，包括各个节点的执行时间、占用资源、性能指标等信息。
  • ResNet.py：这是一个 Python 格式的文件，它是模型在 DPU 上执行时使用的代码，包括模型定义、数据加载、推理过程等内容。

4. 查看模型的结构

新建单元格，通过Image命令可以查看模型的结构和流程图：

Image('inspect/inspect_DPUCZDX8G_ISA1_B4096.png')

image.png

5. 总结

Xilinx使用docker分发Vitis AI，这让开发者可以非常方便地构建Vitis AI开发环境，借助Jupyter Lab，可以很轻松运行Vitis AI各项指令，并在其中添加注释信息。

Inspector可以以图形化的方式展示PyTorch或TensorFlow模型的网络结构,包括运算层、数据尺寸、数据流动等信息。这可以帮助开发者更直观地理解模型结构。

hi94
关注
专栏目录
Vitis AI(03) Vivado Flow
abcxy2161的博客
05-26 1639
从本文开始，将正式介绍VitisAI的工作流程。第一个流程就是Vivado Flow，在Vivado开发环境中创建一个硬件平台，为后续的PetaLinux和Vitis提供基础。Vivado中的大部分的内容都是在Block Design中完成的，核心目标是创建一个Zynq UltraScale MPSoC的运行硬件环境，以及为DPU的正常运行提供硬件支持。这里需要注意，较老版本的VitisAI教程中，需要在Vivado中导入DPU的IP核，这种做法已经成为历史，本文介绍的流程中，在Vivado中是不需要导入D
VitisAI(05) Vitis Flow
abcxy2161的博客
07-06 844
本文承接VitisAI(04) PetaLinux Flow，介绍使用Xilinx的Vitis工具利用Vivado生成的design_1_wrapper.xsa文件以及PetaLinux编译的rootfs和内核镜像，生成制作好的SD卡镜像文件sd_card.img
Xilinx Vitis AI量化部署Yolov5至DPU (PYNQ)
weixin_43192572的博客
06-20 1万+
本文章记述了从YOLOv5源代码使用Xilinx Vitis AI进行量化并部署到DPU上的全流程。在开Pynq环境下运行测试通过。
【FPGA设计】Vitis AI概述
qq_45355365的博客
08-03 454
【FPGA设计】Vitis AI概述
Vitis AI 基本认知（入门资源汇总）
hi94的博客
07-25 912
本文提供了多个有用的资源链接，包括环境搭建、使用 inspector 检查模型、解释量化过程等，以及指向官方文档和教程的链接，帮助用户更深入地了解和使用 Vitis AI。通过这些资源，用户可以更容易地开始他们的 Vitis AI 项目，无论是在边缘设备还是云平台上。
Vitis AI学习笔记(1): Vitis AI 开发工具包概述
热门推荐
falwat的专栏
03-18 1万+
** 声明：文章翻译自UG1414 (v1.0) Vitis AI User Guide， 仅供学习参考。 ** 目录Vitis AI 开发工具包概述特点组件深度学习处理单元（DPU）AI Model ZooAI 优化器AI 量化器AI 编译器AI 分析器AI 库AI RuntimeFor 云计算For 边缘计算深度学习处理单元（DPU）DPU-V1 for CloudDPU-v2 for Edg......
Vitis-AI集成
吴建明wujianming_110117
12-23 1295
Vitis-AI集成 Vitis-AI是Xilinx的开发堆栈，用于在Xilinx平台（包括边端设备和Alveo卡）上进行硬件加速的AI推理。它由优化的IP，工具，库，模型和示例设计组成。设计时考虑到了高效率和易用性，充分发挥了Xilinx FPGA和ACAP上AI加速的全部潜力。 TVM内部当前的Vitis-AI Byoc流可加速边端和云端的神经网络模型推理。支持的边端和云端深度学习处理器单元（DPU）的算子分别是DPUCZDX8G和DPUCADX8G。DPUCZDX8G和DPUCADX8G是 分别 在X
Vitis AI 工具概述
weixin_45825101的博客
02-20 4275
Vitis™ AI 开发环境可在赛灵思硬件平台上加速 AI 推断，包括边缘器件和 Alveo™ 加速器卡。此环境由经过最优化的 IP 核、工具、库、模型和设计示例组成。其设计以高效和易用为核心，旨在通过赛灵思 FPGA 和自适应计算加速平台 (ACAP) 来充分发掘 AI 加速的全部潜能。Vitis AI 开发环境将底层 FPGA 和 ACAP 的繁复细节加以抽象化，从而帮助不具备 FPGA 知识的用户轻松开发深度学习推断应用。
在linux下安装VITIS-AI人工智能开发环境配置
FPGA/MATLAB学习教程/源码/项目合作开发
12-06 3903
步骤一、docker环境搭建 由于 apt 官方库里的 docker 版本可能比较旧，所以先卸载可能存在的旧版本： User:$ sudo apt-get remove docker docker-engine docker-ce docker.io 1.安装 curl 包： User:$ sudo apt-get install curl 2.添加 Docker 官方的 GPG 密钥： User:$ curl -fsSL https://download.docker.com/l
xilinx vitis ai使用方法
05-20
Xilinx Vitis AI 是一个全面的开发环境，专为在Xilinx硬件平台上进行AI推理而设计，支持从边缘设备到Alveo加速卡等多种硬件。Vitis AI 由优化的IP内核、工具、库、模型和示例设计组成，旨在提高效率并简化使用流程，...
vitis-ai中文资料.pdf
08-02
中文手册方便入门过程中快速打通流程
Vitis-AI:Vitis AI是Xilinx的开发堆栈，用于在Xilinx硬件平台（包括边缘设备和Alveo卡）上进行AI推理
05-13
Xilinx:registered:Vitis:trade_mark:AI是在Xilinx硬件平台（包括边缘设备和Alveo卡）上进行AI推理的开发堆栈。 它由优化的IP，工具，库，模型和示例设计组成。 设计时考虑到了高效率和易用性，充分发挥了Xilinx ...
Vitis AI 全中文文档集合
weixin_45825101的博客
08-28 861
Vitis AI 全中文文档集合
vitis和vitis ai
zhuozhongshuo
05-16 3274
vitis vitis是赛灵思统一软件开发平台，边云设备都可在上面开发。其有4个组成部分（从下到上）： 1、目标平台（target platform）：基本软件和基本硬件（zynq-7000, zynqUltarScale + MPsoc, Alveo, Versal ACAPs） 2、核心开发包（core development kit）： 图像和命令行开发工具（vitis 编译器，vitis 分析器和vitis 调试器）：构建加速算法+分析性能瓶颈+进一步调试（C/C++/open GL） xil
Vitis-AI运行Emulation-HW神坑
tuinenglun8575的博客
11-02 417
export LIBARARY_PATH=/usr/lib/x86_64-linux-gnu sourece settings64.sh 否则Emulation-HW会报错： recipe for target failed
Vitis AI(02) 环境与资源
abcxy2161的博客
05-18 1037
在第一篇文章”VitisAI-01-Overview”中，我简要介绍了什么是VitisAI、VitisAI相关的的技术栈、我的开发环境是什么样的以及需要安装下载哪些资源。本文对我的开发环境以及所需资源的下载安装进行一个更为详细的说明 环境介绍 我使用的台式机操作系统是Windows11，我采用的是在虚拟机中搭建VitisAI的方式来进行开发和研究。由于VitisAI开发需要PetaLinux编译，而目前PetaLinux仅支持Linux操作系统，而我并不使用Linux作为我的主操作系统，因此选择在虚拟机
Vitis AI-FPGA实时智能零售系统
OpenFPGA的博客
12-05 482
整个系统是以DPU为核心，在 DPU 上部署对象检测模型实现实时智能检测，该系统视频输入可以来自 VCU 解码的视频或来自相机的实时视频图像。介绍Checkout So Easy 是本次介绍的项目系统名称。是在ultrascale+上利用 VCU 和 DPU 实现的智能零售系统。Checkout So Easy 有两种应用场景：1.Checkout So Easy充当云端将记录商品的视频以 mp4...
SRT3D: A Sparse Region-Based 3D Object Tracking Approach for the Real World
最新发布
weixin_45834800的博客
09-13 1034
基于区域的方法在基于模型的单目3D跟踪无纹理物体的复杂场景中变得越来越流行。然而，尽管它们能够实现最先进的结果，大多数方法的计算开销很大，需要大量资源来实时运行。在下文中，我们基于之前的工作，开发了SRT3D，这是一种稀疏的基于区域的3D物体跟踪方法，旨在弥合效率上的差距。我们的方法在所谓的对应线（这些线模型化了物体轮廓位置的概率）上稀疏地考虑图像信息。由此，我们改进了当前的技术，并引入了考虑定义的全局和局部不确定性的平滑阶跃函数。对于所得到的概率公式，提供了详尽的分析。
vitis Ai3.0
07-27
Vitis AI 3.0是Xilinx推出的一款人工智能开发平台。根据引用\[1\]和引用\[2\]的内容，你可以按照以下步骤来使用Vitis AI 3.0： 1. 首先，你需要克隆Vitis AI存储库并获取示例、参考代码和脚本。使用以下命令克隆存储库： ``` git clone https://github.com/Xilinx/Vitis-AI cd Vitis-AI ``` 2. 接下来，你需要启动Vitis AI的Docker容器。根据你之前安装的框架选择相应的命令。例如，如果你安装了pytorch-gpu版本，可以使用以下命令： ``` cd <Vitis-AI install path>/Vitis-AI ./docker_run.sh xilinx/vitis-ai-opt-pytorch-gpu:latest ``` 3. 在启动Docker容器后，你将看到类似于引用\[3\]中的输出。这表示你已经成功设置了Vitis AI的环境。你可以使用以下命令激活Vitis AI的pytorch环境： ``` conda activate vitis-ai-pytorch ``` 通过按照以上步骤，你可以开始使用Vitis AI 3.0进行人工智能开发。请注意，这只是一个简要的概述，具体的操作步骤可能会因为你的环境和需求而有所不同。建议你参考Xilinx官方文档和资料以获取更详细的指导和信息。 #### 引用[.reference_title] - *1* *2* [Xilinx Ubuntu环境下docker&Vitis AI 3.0基于GPU的环境安装](https://blog.csdn.net/lzq6261/article/details/129909204)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [Vitis-AI 3.0 GPU Docker 安装踩坑及修改](https://blog.csdn.net/QHY0227/article/details/130750089)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值