【2023 · CANN训练营第一季】- 应用开发深入讲解 第三节 学习笔记

一、学习目标

1.了解DVPP的基本原理

2.了解VPC如何使用

3.了解JPEGD如何使用

二、数据预处理概述

1.数据预处理使用场景

受网络结构和训练方式等因素的影响，绝大多数神经网络模型对输入数据都有格式上的限制。在计算机视觉领域，这个限制大多体现在图像的尺寸、色域、归一化参数等。如果源图或视频的尺寸、格式等与网络模型的要求不一致时，我们需要对其处理，使其符合模型的要求。

 

2.数据预处理方式

CANN提供了两套专门用于数据预处理的方式：AIPP和DVPP。AIPP、DVPP可以分开独立使用，也可以组合使用。组合使用场景下，一般先使用DVPP对图片/视频进行解码、抠图、缩放等基本处理，但由于DVPP硬件上的约束，DVPP处理后的图片格式、分辨率有可能不满足模型的要求，因此还需要再经过AIPP进一步做色域转换、抠图、填充等处理。

 

3.数据预与应用开发

三、DVPP

1.概述

DVPP（Digital Video Pre-Processing）是昇腾AI处理器内置的图像处理单元，通过AscendCL媒体数据处理接口提供强大的媒体处理硬加速能力，主要功能包括缩放、抠图、格式转换、图片编解码、视频编解码等。

2.高宽对齐

3.接口

数据类型的接口涉及到的操作有：创建数据，get/set数据中的数值，销毁数据。

DVPP相关接口：

    

四、JPEGD图片解码

1.概述

2.调用接口概述

流程图如下：

3.接口说明

 

五、VPC视觉预处理

1.概述

 

2. 调用接口概述

流程图如下：

3.接口说明

（1）缩放

  

（2）裁剪

 

（3）剪切粘贴

六、JPEGD+VPC串接

通过JPEGD+VPC串接可以将JPEG编码的图像数据解码为其他像素格式，并在解码过程中直接应用VPC提供的图像处理功能。这种集成方式有助于简化数据预处理流程，并提高处理效率。

串接的关键是将JPEGD解码后的输出直接作为VPC的输入，避免数据复制导致的处理速度低和内存占用大。

流程图：