hi94的博客

pybind11 介绍、Jupyter Lab 中的快速编译和加载、使用编译器链接器标志、pybind11 的基本用法、pybind11 的类的绑定用法、vart::Runner 类的 Python 绑定源代码解释。

例程: dpu_resnet50.ipynb。介绍 DPUOverlay 类及其在 PYNQ 中的作用，包括加载比特流和模型、管理 DPU 运行时等功能。解析图像预处理流程，包括调整图像大小、均值归一化以及中心裁剪等步骤，确保输入数据符合模型要求。标签读取、图像读取和推理执行的过程，强调内存管理与数据结构的使用。介绍与 DPU 相关的类和库，如 VART，以便更好地理解整个推理流程及其背后的实现机制。

本文主要涉及关键信息：获取数据集的标签、保存和读取类别标签、加载模型并推理、绘制图像、使用中文标签、置信度柱状图。

本文分享 Tiny-VGG 项目的代码解析，对于冗余部分，进行了删减。主要内容包括：图像数据预处理；手动计算：训练损失、训练准确度、验证损失、验证准确度；自定义训练循环；数据集加载器；修正目录；计算图。

本文介绍了量化基本概念，如映射函数、量化参数、校准方法以及对称与非对称量化的区别，探讨了Per-Tensor和Per-Channel量化策略，以及训练后静态量化（PTQ）和量化感知训练（QAT）的应用。

在本学习笔记中，笔者探讨了不同深度学习框架下构建线性回归模型的方式，主要集中于 TensorFlow 和 PyTorch。通过使用 Keras 的 Sequential 和 Functional API，我们展示了两种模型构建方式的特点与适用场景。Sequential API 适合简单的线性堆叠模型，而 Functional API 则提供了更大的灵活性，适用于复杂的网络结构。

1).介绍和使用 TensorBoard；2).解释 Epoch、Batch、Iteration；3).解释训练循环中的梯度累加

这篇文档介绍了一个名为CNN Explainer的交互式可视化系统，旨在帮助非专业人士学习卷积神经网络（CNN）。该系统通过直观的方式展示了CNN的工作原理，使用户能够更好地理解复杂的神经网络结构和运算过程。

本文分享了如何使用 Vitis AI 工具中的 Inspector 对神经网络模型进行检查和诊断。Inspector 可以基于硬件约束预测目标器件分配，生成的检查报告能够指导用户优化和修改模型，从而降低部署难度并缩短部署时间。建议在量化浮点模型前进行检查，以确保模型的兼容性和性能。

本文记录了在 Ubuntu 20.04 环境下配置 Vitis AI 所需的步骤和软件推荐。

本文分享了 vai_q_pytorch 的功能与应用，该工具是 Vitis AI Quantizer for PyTorch 的缩写，旨在优化深度学习模型，尤其是通过深度压缩技术提高模型的性能与效率。处理后的 IR 可以部署到多种平台，如深度学习处理单元（DPU）和 Xilinx AI 引擎，用户也可以将修改后的计算图重新整合回 PyTorch，以利用其强大的预处理、后处理和分布式系统功能。这一系列流程为深度学习模型的优化提供了高效、便捷的解决方案，助力提升模型在不同硬件平台上的运行效率与性能。

本文提供了多个有用的资源链接，包括环境搭建、使用 inspector 检查模型、解释量化过程等，以及指向官方文档和教程的链接，帮助用户更深入地了解和使用 Vitis AI。通过这些资源，用户可以更容易地开始他们的 Vitis AI 项目，无论是在边缘设备还是云平台上。

在当今技术快速发展的时代，我们追求的不仅是智能设备的高性能，同时也强调其能效和便携性。Vitis AI量化器便是在这样的背景下应运而生的一个工具，它通过将神经网络模型的数据精度从32位浮点数降低到8位整数，极大地缩减了模型的体积和计算需求，而通过精心设计的校准和微调过程，又能确保模型的预测准确性基本不受影响。这一过程不仅包括了校准激活、量化感知训练等关键步骤，还提供了详细的量化校准配置和实用的量化函数，以适应不同的部署需求。

Vitis AI 环境搭建 & KV260 PYNQ 安装 & 要点总结

本文主要介绍使用Vitis AI工具创建自定义的Xmodol，难点并不在工具本身，而是需要了解很多机器学习的知识。一个很好的出发点是使用Vitis Model Zoo库，是一个包含了大量预训练模型的资源库，这些模型涵盖了多种AI应用领域，如图像分类、目标检测、语义分割、人脸识别、自然语言处理等。

校准是指通过一些代表性的数据来估计模型中每一层的输入和输出的分布，从而确定量化的参数，如比特宽度、尺度因子和零点等。注意：量化后的模型的top-1准确率反而高于原始模型，一方面是因为量化是一种近似计算，在某些情况下可以起到模型蒸馏的效果，去除模型训练过程中的噪声，从而改善性能；另一方面，量化校准过程中，通常会对权重进行缩放来最小化量化误差，这可能起到了“网络微调”的效果，达到优化模型的效果。但其实，量化的关键不在于使用Vtiis AI工具，而在于理解量化是如何进行的，以及模型部署的相关问题。

Xilinx使用docker分发Vitis AI，这让开发者可以非常方便地构建Vitis AI开发环境，借助Jupyter Lab，可以很轻松运行Vitis AI各项指令，并在其中添加注释信息。Inspector可以以图形化的方式展示PyTorch或TensorFlow模型的网络结构,包括运算层、数据尺寸、数据流动等信息。这可以帮助开发者更直观地理解模型结构。