xilinx 暑期学校学习笔记(Day 6) Vitis及PYNQ-Z2上的Canny边缘提取

说实话VITIS没咋记

VITIS

基本地位

其地位相当于是系统内核，将底层的平台硬件抽象，将AI模型部署到DPU上。

优化器

神经网络的裁剪，将权重为0 的连接去除。

支持Caffe,Darknet,TensorFlow

量化器

权重和激活量化成8bit

支持校准

支持Caffe,TensorFlow,Pytorch(Q1,2020)

有GPU和CPU版本

量化后的精度下降一般在1%以下。

编译器

将量化后的神经网络编译成DPU能识别的东西

分析器

对生成后每层网络的性能等数据进行分析。

Runtime

Canny 边缘监测

HLS生成Canny监测IP

源文件中包含了几个函数

canny_edge、hysteresis、nonmax_suppression、gradient_decomposition

梯度分解

gradient_decomposition函数实现梯度分解功能

其输入参数是hls_video中规定好的数据类型，是OpenCV相同功能进行加速设计的

void gradient_decomposition(GRAY_IMAGE_16S& gx, GRAY_IMAGE_16S& gy, GRAY_IMAGE_16& gd) 

代码中将梯度方向量化成了0、1、2、3四个方向

			// 0 is 0 degrees, 1 is 45 degrees, 2 is 90 degrees, 3 is 135 degrees
			if (abs_gx > abs_gy && ((element_gx > 0 && element_gy >= 0)||(element_gx < 0 && element_gy <= 0))) {
   
			  if (5*abs_gx > (12*abs_gy)) dir_g = 0;
			  else dir_g = 1;
			}
			else if (abs_gx <= abs_gy && ((element_gx > 0 && element_gy > 0)||(element_gx < 0 && element_gy < 0))) {
   
			  if (5*abs_gy > (12*abs_gx)) dir_g = 2;
			  else dir_g = 1;
			}
			else if (abs_gx <= abs_gy && ((element_gx >= 0 && element_gy < 0)||(element_gx <= 0 && element_gy > 0))) {
   
			  if (5*abs_gy > (12*abs_gx)) dir_g = 2;
			  else dir_g = 3;
			}
			else {
   
			  if(abs_gx== 0 && abs_gy == 0) dir_g = 0;
			  else if (5*abs_gx > (12*abs_gy)) dir_g = 0;
			  else dir_g = 3;
			}

并对计算全部梯度的二重循环做了禁止展开，然后进行流水处理的优化

#pragma HLS LOOP_FLATTEN OFF
#pragma HLS DEPENDENCE array inter false
#pragma HLS PIPELINE

nonmax_suppression 非最大值抑制

就是抑制不是极大值的元素，可以理解为局部最大搜索。这个局部代表的是一个邻域，邻域有两个参数可变，一是邻域的维数，二是邻域的大小。

这是图像识别常用的一个算法，如下图的