SLAM硬件加速之FPGA-base ORB(2)——FAST Detector

FAST VS Harris

我们知道fast和harris都是slam比较常用到的角点检测算子，我们先来对比一下他们的优缺点。

FAST: FAST (Features by Accelerated Segment Test) 是一种快速过滤不太可能成为角点的算法，保留边缘或角点。Harris可以过滤掉边缘的点，只留下角点。Harris做同样的工作更稳健。FAST可能会过滤掉Harris允许的角点，但这可以认为这是一个优势，因为Harris是一个更稳健的指标。[2]

FAST Detector

特征点检测是在7×7像素的背景下通过将给定图像点的亮度与位于半径为3像素的环绕的Bresenham圆。如果圆中连续n个像素的亮度同时低于Ip−t或同时高于Ip+t，则亮度为Ip的中心点被视为角点，其中t定义亮度阈值。

连续像素的数量n一般设置为9，有一些可能会设置为12，这分别被称为FAST-9和FAST-12。

FPGA 加速方案

方案一：

如果中心像素比圆形像素暗/亮一个阈值，则比较结果为“1”，否则为“0”。按顺序排列的16个结果形成了一个测试字符串，其中附加了一个指针sptr。测试域在该字符串的较高9位内执行。如果“0”出现在测试域中，sptr将指向最右边的“0”，并且字符串被左循环移位sptr。只有当测试域中的所有位都是“0”时，中心像素才会被表示为兴趣点/角点。在最坏的情况下，非关键点判断需要4个时钟周期。[10]

方案二：

以暗点测试为例，它包含16个并行比较器。如果Breshenman圆中一个像素的强度比中心像素的强度小一个阈值，则比较器输出“1”，否则输出“0”。这16个比较器的结果形成暗字符串0。对于暗字符串0，通过AND运算测试9个连续位。此过程从MSB复制，并在遇到LSB时返回。16个“与”运算的输出再次形成一个16位的暗字符串1。暗字符串g1被左右圆移位1到4位。这九个字符串通过OR运算进行融合，以生成用于分数计算的暗掩码。

方案三：

上图举例了如何通过partterns来获得角点。可以看到Bresenham圆上的16个像素中没有一个的强度高于Ip+t（t=20时为229），而其中14个的强度低于Ip−t（189）。这导致了两个16位向量，将其与16个不同的模版进行比较，每个模版由16位组成：9个1和7个0。表示亮度高于Ip+t的像素的向量不匹配任何模版，而第二个向量匹配总共6种不同的模版。因此，我们确定中心像素是一个特征点（它满足FAST的“低于”条件）。[6]

方案四：

首先计算“b+t”和“b−t”，然后将计算结果和“ai”发送到比较器。这里，16个通道比较器在相同的系统时钟中进行并行处理。但该方案没有说明如何保证连续性。[3]

下一节

SLAM硬件加速之FPGA-base ORB(1)——Image Pyramid

下一节

SLAM硬件加速之FPGA-base ORB(3)——Score Calculation​​​​​​​

Reference

[1]FPGA-based ORB Feature Extraction for Real-Time Visual SLAM. 2017

[2]FPGA Acceleration of Multilevel ORB Feature Extraction for Computer Vision. 2017

[3]A New FPGA Architecture of FAST and BRIEF Algorithm for On-Board Corner Detection and Matching. 2018

[4]High-throughput and area-optimized architecture for rbrief feature extraction. 2018

[5]eSLAM: An Energy-Efficient Accelerator for Real-Time ORB-SLAM on FPGA Platform. 2019

[6]An Efficient Real-Time FPGA-Based ORB Feature Extraction for an UHD Video Stream for Embedded Visual SLAM. 2022

[7]HcveAcc: A High-Performance and Energy-Efficient Accelerator for Tracking Task in VSLAM System. 2020 [8]ac2SLAM: FPGA Accelerated High-Accuracy SLAM with Heapsort and Parallel Keypoint Extractor. 2023

[9]Area-Time Efficient Streaming Architecture for FAST and BRIEF Detector. 2018

[10]A Low Latency Feature Extraction Accelerator with Reduced Internal Memory. 2017

[11]A 42fps Full-HD ORB Feature Extraction Accelerator with Reduced Memory Overhead.2017

[12]A Flexible and Efficient Real-Time ORB-Based Full-HD Image Feature Extraction Accelerator. 2020

[13]ORB-SLAM2: an Open-Source SLAM System for Monocular, Stereo and RGB-D Cameras. 2016