域自适应学习分割：ADVENT: Adversarial Entropy Minimization for Domain Adaptation in Semantic Segmentation

1、ADVENT: Adversarial Entropy Minimization for Domain Adaptation in Semantic Segmentation
目的：这篇文章和前几篇一样的思想，都是用对抗学习的思想来做域自适应学习分割，一个系列的文章，前面几篇可以当做了解，这篇着重学习代码，以及熵最小化这种思想。从网络，训练过程多方面学习，尤其把网络训练起来。
Adversarial Learning for Semi-Supervised Semantic Segmentation
Learning to Adapt Structured Output Space for Semantic Segmentation

1）论文动机，作者是如何构思的
      论文提出基于熵损失的无监督域自适应语义分割方法。
     模型仅在源域上训练，在与源域接近的图像上预测，容易产生过度自信，即低熵。而在与目标域接近的图像上预测，往往under-confident，即高熵。从上图可知，源域预测的熵图仅在物体边缘处有高的激活值，产生高熵。而在目标域预测的熵图，有很多噪声。造成结果不确定，都是高熵。因此，作者自然想到减小目标域的熵值，从而缩减源域和目标域之间的差距。具体做法有两种形式：使用熵损失直接熵最小化或采用对抗损失间接熵最小化。所以论文做了以下三项工作：
在目标域上，利用熵损失直接惩罚低置信度的预测
采用了基于熵的对抗训练方法，不仅最小化目标的熵值，而且在两个域中结构自适应。

2）具体实现1—基于熵最小化
     语义分割的基本损失，交叉熵损失：
     公式（1），仅仅是在源域上的交叉熵损失，没有域自适应。而在目标域上，由于图像没有标签，不能采用公式（1）训练，有些自监督的方法会采用那些高置信度的模型输出当做标签，而本文是直接采用熵最小化的方法，让模型产生高置信度的预测。每个像素的熵定义为：

因此，熵损失定义为所有像素的熵的和：

训练时，结合源域上的有监督损失，联合优化，分割网络总损失函数为：
对于上面公式，也可以从自监督的角度进行理解，这相当于soft-assignment version of the pseudo-label cross-entropy，意思就是，自监督是采用阈值的方式进行了选择。
3）具体实现2—基于熵最小化对抗训练
     仅仅采用熵最小化损失训练，忽略了局部语义之间的结构依赖关系。Learning to Adapt Structured Output Space for Semantic Segmentation这篇文章已经论证了，自适应结构输出空间是有益的，因为源域和目标域之间空间布局，局部语义存在相似性。因此，为了保持结构一致性，强制两个域的熵分布一致。目标是让模型产生低熵预测。所以判别器的训练损失为：

公式（7）是对抗损失，这里关键是对判别器的输入做了变化，因为是对熵图做约束，所以I是熵图，也可以理解为加权的自信息图。（间接减小熵）

同样的，生成器的损失可以表示为：

熵最小化有可能导致对简单样本的偏置，所以加入一些先验信息来引导学习，根据source domain的类别分布，先计算source上类别先验向量ps：统计每个类别的像素数量，做l1归一化。
对于在target domain上的预测结果，同样计算Pxt，惩罚那些差异较大的。
。