【AI x FPGA自学笔记】基于FPGA的智能成像系统中用于实时图像去噪和边缘保存的可重构AI矢量中值滤波器

实时智能图像去噪（Real-time smart image de-noising）

采用随机游走法进行中值滤波的优化并行处理算法（optimized parallel processing algorithm using the random walk approach for median filtering)，在保持滤波准确的同时降低硬件资源的利用率。

一种二阶段去噪算法

摘要：本文【2】提出了一种新的两阶段去噪算法来处理脉冲噪声。
在第一阶段，采用自适应二能级前馈神经网络（adaptive two-level feedforward neural network (NN) ）和反向传播训练算法（back propagation training algorithm）来清除噪声并保持信息的完整性。
第二阶段，提出受人类视觉系统（HVS）启发的模糊决策规则（fuzzy decision rules），将图像像素分为人类感知敏感类和非敏感类，并补偿边缘的模糊和中值滤波器造成的破坏。提出了一种神经网络增强敏感区域，使其具有更高的视觉质量。
实验结果表明，该方法在感知图像质量以及边缘区域的清晰度和平滑度方面都优于传统方法。

第一阶段，两级神经网络去噪过程如左图所示。
在第一层中，只有由NN检测识别的噪声像素才使用3 x 3中值滤波器进行处理。
第二级去噪过程使用自适应中值滤波器检测和去除第一级去噪过程中的误分类和检测到但未去除的噪声像素。
这一阶段应用3 × 3窗口获取像素P（0,0）对应的特征进行噪声检测。

右图示出了第二阶段图像质量增强系统的原理框图。
该系统由模糊决策模块、角度评估模块和自适应补偿模块组成。基于HVS的模糊决策模块将每个参考像素O(0,0)分类为是否合理圈定边缘。在此基础上，将提出的自适应神经网络补偿模块应用于合理划分的边缘区域。

新的并行向量处理方案和资源共享

支持AI的算法设计和实现

AI启用算法（AI enabled algorithm）的有效性取决于像素脉冲检测（pixel impulse detection）和脉冲去噪（impulse de-noising）的选择。

该算法映射到体系结构及其实现中

图1：可重构的人工智能中值滤波器，用于智能成像系统

该算法通过考虑每个像素的邻近像素位置和值来计算中值。FPGA的可重配置特性使其能够调整滤波器的参数，以适应各种应用和输入的噪声图像。

RGB-Y转换是一个重要的预处理步骤，其中RGB图像被转换为亮度(luminance(Y))图像，通常用于图像和视频处理。人工智能可以在卷积神经网络（CNN）架构中应用，以优化RGB-Y转换过程。通过使用人工智能模型，卷积神经网络可以学习和调整转换过程。在RGB-Y转换后，亮度输出连接到不同的分类器和脉冲检测器（Impulse detector）。在消除噪声像素后，最后输出存储在图像滤波器输出中。

在消除噪声像素之后，最终将输出存储在图像滤波器输出中。脉冲及其操作如图6所示。系统首先接收一张作为输入的图像，通常表示为FPGA内像素的网格，系统采用矢量中值滤波算法（vectored median filter algorithm）。为了增强性能，系统利用人工智能（AI）技术。这些如图1和图7中的脉冲的AI技术，能够使系统根据脉冲图像输入的具体内容及其噪声特征智能地调整滤波器约束。最后，系统生成过滤后的图像作为其输出。这个过滤后的图像展现了减少噪声和改善细节的效果，使其适合进一步分析或展示。

硬件体系结构

基于CNN的RGB-Y滤波器的硬件设计如图2所示。这种架构的AI组件将采用智能硬件技术，例如基于卷积神经网络（CNN）的矢量中值滤波器，以根据一组数据元素的邻近值预测中值。通过在一个具有代表性的输入RGB图像数据集上训练AI模型，它可以有效地模拟亮度输出操作，并显著减少卷积操作。

每个彩色图像像素连接到常数系数乘法器（Constant Coefficient Multiplier）和加法器（Adder）（MAC/MADD）。这个MAC以15MHZ的速度产生灰度图像输出。RGB-Y过滤后图像的输出连接到所提议的中值滤波器的输入。基于CNN的RGB-Y滤波器的硬件设计应利用并行处理，通过使用并行处理单元，如流处理单元（streaming units）和乘法累加（multiply-accumulate（MAC））单元。

图2：基于CNN的RGB-Y滤波器硬件设计

基于处理流水线设计的矢量中值滤波器计算强度可采用AI预测，如图1所示。此预测基于输入数据的复杂性（complexity）或正在处理的卷积神经网络（CNN）层的类型。通过使用人工智能预测，智能时钟门控（clock gating）机制可以动态调整时钟信号和给定像素，仅在特定处理阶段激活所需组件。这种方法可以通过减少在闲置或计算密集度较低的CNN部分不必要的时钟切换，从而带来显著的节能，尤其是在RGB-Y转换和脉冲检测阶段。

基于智能时钟增益（Intelligent Clock Gaitng（ICG））的现场可编程中值滤波器（Median Filter）架构如图3所示。支持AI的技术，如智能时钟门控，可以显著提高基于CNN的RGB-Y转换的性能和效率。

图3：中值滤波器的结构

图6所示为使用中值滤波的5-input排序网络。2输入和3输入的比较和交换模块可以轻松配置为NxN输入像素。设计的网络由比较器和选择器节点（Compare and selector node (CAS network)）组成，用于以系统化的顺序排列像素。在图6中，假设图像像素的输入为{20, 20, 85, 25, 20}，则中值将被视为20。

图6：混合分选网络采用可重构中值滤波器（Hybrid sorter network used reconfigurable median filter）

图7显示，IIDIC为8位像素大小，检查所有的中位像素是否包含脉冲噪声。为此，中心值被应用于脉冲，检查字节是否全部为零。然后用处理后的过滤像素替换窗口中的像素。如果存在高水平的噪声，处理后的像素(P3)被视为无噪声输出。脉冲检测是在噪声减少和去噪算法中的一个关键步骤，特别是在处理图像中的脉冲噪声时。可以使用人工智能技术来训练检测和IIDIC，以识别图像或信号中的脉冲噪声。通过利用人工智能，脉冲可以在区分噪声像素和清晰像素时变得更加自适应和准确，即使在复杂的噪声场景中。由人工智能驱动的脉冲检测可以导致更精确的替换像素选择和更好的整体噪声减少性能，如图7所示。

图7：智能脉冲去噪与分类器（Intelligent Impulse denoising and Classifier (IIDIC)）

将AI驱动的智能时钟门控、AI优化的RGB-Y转换和基于AI的脉冲检测结合到矢量中值滤波器架构中，可以显著提升性能、提高能效和减少噪声。这些技术展示了将AI与硬件优化相结合在信号和图像处理应用中的强大能力，从而带来更先进和高效的解决方案。

结果

在Xilinx Zynq SoC硬件上对FPGA实现结果进行了验证：

1. 现有中值过滤系统和所提议的向量中值过滤器在不同图像尺寸下的处理时间比较。与现有系统相比，提议架构的加速提升约为55%。
2. 设计的矢量中值滤波器与现有中值滤波器的硬件利用率比较，提出的系统与现有系统相比，资源消耗减少了82%。整个设计滤波器架构的动态功耗为0.777毫瓦。
3. 对智能矢量中值滤波器在一组多样化图像中的性能进行了彻底评估，这些图像展现了不同的噪声类型和密度。该评估利用峰值信噪比（PSNR）作为性能基准，精确测量去噪图像与受脉冲噪声影响的原始图像相比所达到的质量提升程度。结果清晰地展示了通过人工智能支持的滤波器性能显著提升，约为20%。

参考文献：

1. ​​​​​​Reconfigurable AI‑enabled vectored median filter for real‑time image denoising and edge preservation in FPGA‑based smart imaging systems(2022)
2. A Novel Two-Stage Impulse Noise Removal Technique Based on Neural Networks and Fuzzy Decision(2008)

3. The ANN based detector to remove random-valued impulse noise in images

4. A convolutional neural networks denoising approach for salt and pepper noise

​​​​​​