SLAM硬件加速之FPGA-base ORB(6)——Gaussian Blur

残血到处浪

已于 2023-03-31 11:37:16 修改

阅读量338

点赞数

文章标签： fpga开发计算机视觉算法

于 2023-03-28 11:01:40 首次发布

本文链接：https://blog.csdn.net/weixin_40817208/article/details/129811665

版权

文章讨论了在FPGA实现ORB算法时对高斯模糊操作的优化，以减少硬件资源的使用。通过在计算图像矩和描述符之前应用高斯模糊并调整计算流程，节省了寄存器和块RAM模块。同时，提出了使用5×5二项式滤波器作为高斯滤波器的近似方法，以及一个资源高效的平均滤波器实现，以降低计算复杂度。这种优化策略允许在保持性能的同时，有效地利用硬件资源。

摘要由CSDN通过智能技术生成

Gaussian Blur

在最初的ORB算法中，为此目的所需的图像矩的计算是在高斯模糊和二进制描述符计算之前进行的。在我们的实现中，我们决定在计算图像矩之前执行高斯模糊，并将这些操作移动到与BRIEF描述符直接相关的部分。我们的决定是出于减少FPGA设备中使用的硬件资源的需要。我们保存了大约1000个寄存器，它们存储31×31像素的上下文，以及30个块RAM模块，它们存储30条图像行（每条包含2139个像素）。此外，我们消除了计算特征点的方向和确定其描述之间的延迟。对于图像矩和描述符计算，使用相同大小的31×31px的上下文。同时，在确定方向之前对图像执行高斯滤波不会显著影响所得角度的值。有鉴于此，在已经模糊的图像上生成一次上下文，然后使用它来计算图像矩和确定描述符是合理的。[6]

方案一：

我们使用图中所示的5×5二项式系数滤波器来近似高斯滤波器。巧合的是，卷积中的乘法和除法可以用加法和移位运算来代替。例如，M×36=M×32+M×4=M<<5+M<<2。由于对称分布，可以通过首先对对称像素求和来进一步减少总运算次数。[10][11]

方案二：

Averaging Filter

所提出的AF使用最小的资源以两个步骤在7x7窗口补丁中累积连续的像素流。首先，采用流水线4级加法器树来累积输入寄存器中的行像素值（row Add）。由于连续的输入像素流，在每个时钟周期中产生新的累积行像素值。在第二步中，使用单个加法器（Column Add）对累积的行像素值求和。由于需要7列的最终累积值，因此使用FIFO来延迟将在每个时钟周期从当前累积行像素值中减去的值。所提出的AF使寄存器减少2倍，加法器减少4倍以上。最后，所提出的AF利用流水线单常数乘法（SCM），将最终累积值乘以1/49，以计算7x7像素的平均值。具有15位小数精度的单片机设计。[9]

SLAM硬件加速之FPGA-base ORB(5)——Feature Point Sorting

SLAM硬件加速之FPGA-base ORB(7)——Rotated-BRIEF

Reference

[1]FPGA-based ORB Feature Extraction for Real-Time Visual SLAM. 2017

[2]FPGA Acceleration of Multilevel ORB Feature Extraction for Computer Vision. 2017

[3]A New FPGA Architecture of FAST and BRIEF Algorithm for On-Board Corner Detection and Matching. 2018

[4]High-throughput and area-optimized architecture for rbrief feature extraction. 2018

[5]eSLAM: An Energy-Efficient Accelerator for Real-Time ORB-SLAM on FPGA Platform. 2019

[6]An Efficient Real-Time FPGA-Based ORB Feature Extraction for an UHD Video Stream for Embedded Visual SLAM. 2022

[7]HcveAcc: A High-Performance and Energy-Efficient Accelerator for Tracking Task in VSLAM System. 2020 [8]ac2SLAM: FPGA Accelerated High-Accuracy SLAM with Heapsort and Parallel Keypoint Extractor. 2023

[9]Area-Time Efficient Streaming Architecture for FAST and BRIEF Detector. 2018

[10]A Low Latency Feature Extraction Accelerator with Reduced Internal Memory. 2017

[11]A 42fps Full-HD ORB Feature Extraction Accelerator with Reduced Memory Overhead.2017

[12]A Flexible and Efficient Real-Time ORB-Based Full-HD Image Feature Extraction Accelerator. 2020

[13]ORB-SLAM2: an Open-Source SLAM System for Monocular, Stereo and RGB-D Cameras. 2016