36、固体废弃物检测中的机器视觉技术

固体废弃物检测中的机器视觉技术

1 图像融合模型

1.1 HSI - BERT模型

HSI - BERT模型利用MHSA方法学习全局依赖关系，能够捕获全局上下文并聚焦于重要位置，减少冗余。通过关注依赖较少的位置，可降低模型复杂度，实现更快、更准确的收敛。实验对比表明，HSI - BERT在计算时间和分类精度方面超越了当前的CNN方法。

1.2 早期融合模型

1.2.1 红外与可见光图像融合（IVIF）

红外图像可绕过光照变化和伪影带来的视觉认知障碍，但空间分辨率不足，纹理细节过小。可见光图像则具有更高的细节水平，能有效描绘外观和梯度信息，但易受遮挡和光反射的干扰。

IVIF算法通常分为传统方法和深度学习（DL）方法两类：
- 传统方法 ：在变换或空间域进行图像处理，代表性方法包括稀疏表示、多尺度变换、显著性和子空间方法等。
- 深度学习方法 ：根据采用的网络架构，主要分为生成对抗网络（GANs）、基于卷积神经网络（CNN）的框架和基于自动编码器（AE）的方法。深度学习方法通常先使用深度神经网络（DNNs）从输入图像中提取特征，再用特定的融合方法整合这些特征。

以下是几种基于不同架构的深度学习图像融合方法：
| 架构类型 | 代表模型 | 特点 | 存在问题 |
| ---- | ---- | ---- | ---- |
| CNN | DeepFuse、IFCNN、U2Fusion、PMGI、SDNet、MGFCTFuse | 优化设计的损失函数贯穿特征提取、融合和