图像处理-特征融合相关延伸

1 特征融合

【学习资源】图像处理-特征融合：相加、拼接、Attention

1.1 底层特征/高层特征

• 低层特征：低层特征分辨率更高，包含更多位置、细节信息，但是由于经过的卷积更少，其语义性更低，噪声更多。
• 高层特征：高层特征具有更强的语义信息，但是分辨率很低，对细节的感知能力较差。

1.2 早融合/高融合/Attention融合

• 早融合(Early fusion): 先融合多层的特征，然后在融合后的特征上训练预测器（只在完全融合之后，才统一进行检测）。这类方法也被称为skip connection，即采用concat、add操作。
• 晚融合(Late fusion)：通过结合不同层的检测结果改进检测性能（尚未完成最终的融合之前，在部分融合的层上就开始进行检测，会有多层的检测，最终将多个检测结果进行融合）。
• Attention融合：学习权重分布：输入数据或特征图上的不同部分对应的专注度不同，加权。

2 欠拟合/过拟合

【学习资源】 大白话给你说清楚什么是过拟合、欠拟合以及对应措施

2.1 过拟合（over-fitting）

• 概念：所建模型在训练样本中表现得过于优越，在验证数据集以及测试数据集中表现不佳。 
• 原因：参数过多，对于transformer的层数的增加，相对来说会出现特征冗余？

2.2 欠拟合（under-fitting）

• 概念：所建模型在训练样本中提取的特征比较少，导致训练出来的模型不能很好地匹配，表现得很差。
• 原因：参数不够，现阶段这种情况很少出现！

案例学习

比如是识别一只狗狗的模型，需要对这个模型进行训练。恰好，训练样本中的所有训练图片都是二哈，那么经过多次迭代训练之后，模型训练好了，并且在训练集中表现得很好。基本上二哈身上的所有特点都涵括进去！

那么问题来了！假如我的测试样本是一只金毛呢？

将一只金毛的测试样本放进这个识别狗狗的模型中，很有可能模型最后输出的结果就是金毛不是一条狗（因为这个模型基本上是按照二哈的特征去打造的）。

所以这样就造成了模型过拟合，虽然在训练集上表现得很好，但是在测试集中表现得恰好相反，在性能的角度上讲就是协方差过大（variance is large），同样在测试集上的损失函数（cost function）会表现得很大。

欠拟合则可能二哈被提取的特征比较少，导致训练出来的模型不能很好地匹配，表现得很差，甚至二哈都无法识别。

3 特征冗余

【学习资源】机器学习第十五章——降维

【学习资源】重读GhostNet：使用轻量操作代替部分传统卷积层生成冗余特征以减少计算量

3.1 降低神经网络计算量

随着卷积神经网络部署在终端的需求越来越强烈，很多研究者们开始研究如何降低神经网络的计算量。

• 在一个已经训练好的网络基础上做一些裁剪和量化，比如模型剪枝、低比特量化、知识蒸馏；
• 另外一种方法是设计高效的神经网络架构，比如MobileNetv1-v3系列、ShuffleNet等等。

特征冗余性是卷积神经网络的重要特性之一，一些轻量化网络的工作恰恰是利用特征的冗余性，通过裁掉部分冗余特征达到模型轻量化的效果。

3.2 降维

在图像处理过程中，高维特征是在所难免的，但随之而来的问题也显而易见：

• 学习性能下降，知识越多，吸收知识（输入），并且精通知识（学习）的速度就越慢。
• 过多的特征难于分辨，很难第一时间认识某个特征代表的意义。
• 特征冗余，厘米和英尺就是一对冗余特征，其本身代表的意义是一样的，并且能够相互转换。

特征降维的一般手段就是将高维特征投影到低维空间。

降维的动机有两个：

• 压缩数据
• 数据可视化，100个特征可能难以表示，但是两个三个特征就可以用图表的形式把他画出来可视化，更加形象。

4 局部融合

【学习资源】局部特征融合为全局特征笔记__全局特征融合

【学习资源】图像检索研究进展：浅层、深层特征及特征融合_深层特征是什么 ♥

图像特征分为全局特征和局部特征两种.

• 全局特征代表了图像的整体表现特性，比如颜色直方图；
• 局部特征代表了图像的局部特性，往往能够从一幅图片中提取出若干个数量不等的局部特征，这些局部特征组合起来代表了整幅图像的特征分布。

每一张图片提取出的局部特征数可能是不同的，需要将这些不同数目的描述子融合成一个特征向量（假设维度为n）来表征整个图像，这样一张图片就可以用一个1*k的向量来表征。这样做后就可以方便的实现图片检索，分类任务。其中将局部特征融合为图片全局特征表示需要一个模型来转化。