Feature Corrective Transfer Learning （2024CVPR）

Feature Corrective Transfer learning Framework （特征矫正迁移学习框架）

旨在引导非理想图像上的模型训练与理想图像上训练的模型的特中层更紧密地对齐

Model Selection and Training on Ideal Images

首先在理想图像上训练，得到理想参数
$${\theta }_{\text{ideal}}=\arg \underset{\theta }{\min }{\mathcal{L}}_{\text{det}}(M(D_{\text{ideal}};\theta ))$$
M是目标检测模型

Generation of Non-Ideal Image Versions

$$对于每一个x\in D_{ideal}，合成产生一个非理想图像x^{\prime }（如雨天），可以通过添加噪声做到。$$

Training the Same Object Detection Model on Non-Ideal Images

在非理想图像上训练M，同样使用对应的理想图像作为验证集。在这一阶段，一个或多个特征层将会被用来评估理想图像上训练的模型和非理想图像上训练的模型的相似性
$$\begin{gathered} {\theta }_{\text{non\_ideal}}=\arg \underset{\theta }{\min }\left({\mathcal{L}}_{\text{det}}(M(D_{\text{non\_ideal}};\theta ))+\lambda {\mathcal{L}}_{\text{fs}}(F_{\text{ideal}},F_{\text{non\_ideal}})\right) \\ {F}_{idal}和F_{no{n}_{i}deal}分别代表理想图像的特征图和非理想图像的特征图,\lambda 用来平衡两个损失 \end{gathered}$$

Incorporating Feature Similarity Loss during Backpropagation

$$\begin{gathered} \mathcal{L}={\mathcal{L}}_{det}+\lambda {\mathcal{L}}_{fs} \\ \theta =\arg \underset{\theta }{\min }{\mathcal{L}}_{total} \end{gathered}$$
特征相似性损失Lfs旨在有效地衡量在理想图像上训练的模型特征图与在非理想图像上训练的模型特征图在结构和内容上的差异。值得注意的是，特征空间中的相似性可能与图像相似性存在显著差异，因此需要一个不同的评估指标。本文引入了Extended Area Novel Structural Discrepancy Loss (EANSDL)来评估特征级别的相似性。

Method

Training on Ideal Images

先在理想图像上进行训练
$${\theta }_{ideal}=\arg \underset{\theta }{\min }{\mathcal{L}}_{Faster-RCNN}(D_{ideal};\theta )$$

Feature Corrective Transfer Learning

非理想图像上训练的backbone由以下损失引导
$$\begin{gathered} total={\mathcal{L}}_{det}(D_{no{n}_{i}deal};\theta )+\lambda {\mathcal{L}}_{EANSDL}(F_{ideal},F_{no{n}_{i}deal}) \\ {\mathcal{L}}_{EANSDL}用来表示特征图之间的相似性 \end{gathered}$$

$$\text{EANSDL}(A,B,\delta ,r_{\mathcal{L}})=D(\delta )\cdot \frac{1}{W\cdot H}\sum _{x=1}^W\sum _{y=1}^H\left(\exp (-\Delta S(x,y))\cdot \Delta S(x,y)+\lambda \cdot \Omega (A,B,x,y,r_{\mathcal{L}})\right)$$

$$\delta =\frac{curren{t}_{e}poch}{tota{l}_{e}pochs}$$

时变衰减因子，引入了一种动态机制来调整整个训练期间损失函数的响应性，这一因素的实施促进了模型重点的方法转变，从纠正初始训练阶段的突出结构差异到在训练过程的后续阶段磨练更精细的细节。
$$\begin{gathered} D(\delta )=exp(-\alpha \ast {\delta }^{\beta }) \\ \alpha 调节衰变轨迹的初始陡度,\beta 调节曲率以减缓衰减速度 \end{gathered}$$
从根本上说，D（δ）使模型最初能够专注于纠正特征图之间的显著不匹配，确保建立坚实的基础。随着训练的进行和模型复杂性的演变，衰减因子减少了对这些失配的强调。这一修改有助于减少EANSDL对后期目标检测总损失的影响，从而更专注于目标检测的典型任务。

Gradient Computation Function

G()应用Sobel operator来描绘特征图上的边缘和结构属性。这个操作将特征图与两个不同的3*3核进行卷积，每个核都被设计维沿各自的方向挖掘边

垂直边缘通过水平梯度（Sobel-x）识别，而水平边缘（Sobel-y）则通过垂直梯度精确定位。通过合并这些正交梯度来确定总梯度幅度

Local Gradient Magnitude Difference

该指标量化了直接的结构差异，突出了由于非理想成像条件导致边缘和纹理信息显著不同的区域。从本质上讲，∆S（x，y）精确地指出了模型需要纠正的局部差异，以更好地对齐从非理想和理想场景中得出的特征图。
$$exp(-\Delta S(x,y))作为加权因子调节每个局部差异\Delta S(x,y)对全局损失的影响$$

$$当exp(-\Delta S(x,y))\ast \Delta S(x,y)$$

相乘，损失计算中的指数衰减函数放大了较小差异的影响，将模型的重点放在细化微小但本质的结构差异上。同时，它减轻了对较大差异的处罚，以避免对不太关键的差异进行不当处罚。该机制确保了平衡的模型训练，优先考虑早期阶段的主要差异以获得整体性能，并随着特征图差异的减少，在后期阶段转向更精细的调整，促进细微的结构对齐，以提高目标检测精度。

可以这样理解：
$$当差异过大，e^{-\Delta S(x,y)}\to 0$$
所以模型不会关注差异较大的，避免对不关键的差异进行不当处罚

Extended Area Gradient Consistency

Extended Area Gradient Consistency term,
$$\Omega (A,B,x,y,r_{\mathcal{L}})$$
仔细检查指定区域内梯度过度的均匀性，从而评估更广泛的空间模式。它评估由半径rL定义的扩展领域内梯度变化的一致性。该半径针对Faster RCNN特征金字塔中的每一层进行自适应调整，从而实现多尺度分析：
$$\begin{gathered} \Omega (A,B,x,y,r(L))=\frac{1}{(2r_{\mathcal{L}}+1{)}^2} \\ {r}_{\mathcal{L}}=\frac{r_0}{2^{level}},r_0是最大特征图的初始半斤 \end{gathered}$$
这种扩展的区域梯度一致性确保了模型不仅能捕捉到逐像素的差异，还能欣赏到更广泛的空间模式和对齐。这种多尺度方法对于鲁棒的对象检测至关重要，因为它允许模型识别和适应不同特征图尺度上对象大小和形状的变化。
$$\sum _{i=-r_{\mathcal{L}}}^{r_{\mathcal{L}}}\sum _{j=-r_{\mathcal{L}}}^{r_{\mathcal{L}}}\left|(G(A,x,y)-G(A,x+i,y+j))-(G(B,x,y)-G(B,x+i,y+j))\right|.$$