论文简读：Semi-supervised Transfer Learning for Image Rain Removal

首要目的：看懂论文引出了什么模型或架构，这些模块的作用，以及达到了的效果

目的-方法-结果-结论

半监督学习（Semi-supervised Learning）是一种机器学习方法，它是介于监督学习和无监督学习之间的一种方法。在半监督学习中，训练数据中只有一小部分有标签，而大多数数据没有标签。相比于监督学习，半监督学习利用了更多未标记的数据，提高了模型的泛化性能。

在半监督学习中，通常使用无标签数据来增强模型的训练，例如使用半监督算法来生成伪标签，或者使用半监督聚类来自动发现数据的结构。

迁移学习的思想是，当我们在一个领域中已经学习到了一些有用的知识时，我们可以将这些知识应用到另一个领域中来提高模型的性能。通常，我们将已经学习到的知识称为源领域（source domain），将需要学习的新领域称为目标领域（target domain）。迁移学习的目标是在目标领域上提高模型的泛化能力，而不是简单地将源领域的模型应用于目标领域。

在半监督迁移学习中，我们可以使用源领域的已标记数据来训练模型，然后将模型应用于目标领域的未标记数据，从而对目标领域的数据进行分类或回归。由于源领域和目标领域的数据可能存在差异，因此需要通过一些技术来解决这些问题，例如领域自适应和特征选择等。

总结：Wei等人提出了一种半监督迁移学习模型；目前存在的模型往往使用合成的数据图像对进行训练，难以从真实世界数据获得图像对，且合成数据与真实数据存在差距，会让模型对真实世界样本的泛化能力变差；针对此问题，本文提出半监督迁移方法将无监督的真实雨天图像送入网络训练，将输入与输出（无雨的清晰图像）的残差设定为特定的参数化的雨纹分布，使用期望最大化算法与梯度下降策略，通过迁移监督合成的雨水，来适应真实无监督的雨水类型，以缓解训练样本不足与监督样本偏差带来的问题和传统深度学习方法存在的难以收集训练样本与过度拟合训练样本的问题，最终结果在数学上合理，且在合成数据与真实数据上都得到了验证。
Wei Wei,Deyu Meng,Qian Zhao,Zongben Xu,Ying Wu.Semi-supervised Transfer Learning for Image Rain Removal.In CVPR, pages 3877-3886,2019.

---

 

摘要：

问题：大多数模型使用有/无合成雨的图像对进行训练，而不是真实世界的数据，会使神经网络偏向于学习合成雨的特定模式，而对真实世界样本的泛化能力较差，针对该问题，本文提出一种半监督学习范式，使用真实的雨天图像，且不需要他们的干净图像（除雨后）进行训练；

方法：上述成果是通过将输入与输出（无雨的清晰图像）的残差设定为特定的参数化的雨纹分布来实现的，通过迁移监督合成的雨水，来适应真实无监督的雨水类型。

结果：该模型可以缓解训练样本不足与监督样本偏差[1]带来的问题，且在合成数据与真实数据上都得到了验证。

监督样本偏差[1]：监督学习中的“样本偏差”通常指的是训练集与测试集之间的差异。具体而言，它表示模型在训练集上表现良好，但在测试集上表现较差的情况。这种差异可能是由于训练集和测试集的分布不同，即训练集与测试集中的样本在某些方面存在差异，从而导致模型在测试集上的泛化能力较差。

例如，在图像分类任务中，训练集和测试集可能来自于不同的来源或被拍摄在不同的环境下，导致训练集和测试集中的图像在亮度、对比度等方面存在差异。如果模型只是单纯地记住了训练集中的样本而没有学习到更广泛的特征，那么它在测试集上的表现就会受到这种样本偏差的影响。

---

Intro：

问题：目前存在的方法难以从真实数据获得图像对，往往使用合成的数据，不能包括真实雨天图像存在的广泛模式，且合成数据训练的网络可能无法被精确概括到真实测试数据上。

收集大量的无监督样本（真实雨天图像）对于深度学习是很有必要的

解决方式：提出半监督方法将无监督的真实雨天图像送入网络训练，最终以达到从合成雨天领域转移到真实雨天领域的效果，且在数学上合理。

模型特点：允许有监督的合成数据与无监督的真实数据同时输入，网络参数可以通过有/无监督输入的网络输出经过处理后的结果来优化，让合成样本和真实样本都可以被用于网络训练。

具体处理方式：期望最大化算法[2]，梯度下降策略[3]。对于有监督的任务，使用传统网络输出图像与干净图像之间的最小平方损失，对于无监督的任务，通过对于基于残差设计的参数化分布进行处理，合理制定一个残差。

期望最大化算法[2]：是一种迭代算法，用于在概率模型中寻找最大似然估计或最大后验概率估计。通常情况下，这些估计难以直接计算，因此EM算法通过迭代的方式逐渐逼近最优解。

EM算法包含两个步骤：E步骤和M步骤。在E步骤中，通过当前参数估计值计算每个数据点属于每个隐含变量的概率分布；在M步骤中，通过最大化期望似然或期望后验概率的方式更新参数估计值。这两个步骤反复迭代，直到收敛为止。

梯度下降[3]：是一种常用的优化算法，用于最小化一个损失函数。其核心思想是通过不断沿着损失函数的梯度方向移动，以尽可能降低损失函数的值。

梯度是一个向量，指向函数值增长最快的方向。梯度下降算法的核心就是沿着梯度的反方向进行移动，以使得损失函数值逐步减小，直到达到最小值或收敛。

具体来说，梯度下降算法通过迭代更新模型的参数，以最小化损失函数。在每次迭代中，算法计算当前模型参数的梯度，并根据学习率的大小来更新模型参数。学习率控制了参数更新的步长，如果学习率过大，则可能导致算法无法收敛，如果学习率过小，则可能导致算法收敛速度过慢。

---

discussion：真实雨天图像与人工合成的雨水形状其实是存在差距的，真实数据中存在更多需要考虑的因素，让真实数据与合成数据的训练结果存在差距

---

conclusion：本文的方法缓解了传统深度学习方法存在的难以收集训练样本与过度拟合训练样本的问题