CRF后处理技术--学习笔记

1. 使用原因：使用反卷积层进行上采样，虽然可将特征图恢复到原图尺寸，但也造成了特征损失，导致了分类目标边界模糊的问题。

2. CRF：

   1. 为了让分类器表现的更好，可以在标记数据时，考虑相邻数据的标记信息，这是普通分类器做不到，但是是CRF比较擅长的。

   2. 随机场是由若干个位置组成的整体，当给每一个位置中按照某种分布随机赋予一个值之后，其全体就叫做随机场。

   3. 马尔科夫随机场是随机场的特例，它假设随机场中某一个位置的赋值仅仅与和它相邻的位置的赋值有关，和与其不相邻的位置的赋值无关。

   4. CRF是马尔科夫随机场的特例，它假设马尔科夫随机场中只有X和Y两种变量，X一般是给定的，而Y一般是在给定X的条件下的输出。这样马尔科夫随机场就特化成了条件随机场。

   5. 对于CRF，给出准确的数学语言描述：设X与Y是随机变量，P(Y|X)是给定X时Y的条件概率分布，若随机变量Y构成的是一个马尔科夫随机场，则称条件概率分布P(Y|X)是条件随机场。

3. 全连接CRFs：
   1. 在目前深度学习图像分割应用中常用的一种图像后处理方式。
   2. 是CRFs的改进模式,结合原始影像中所有像素之间的关系对深度学习得到的分类结果进行处理，优化分类图像中粗糙和不确定性的标记，修正细碎的错分区域，同时得到更细致的分割边界。
   3. 全连接CRFs原理物体通常由大的空间相邻的区域表示，每个像素都拥有一个类别标签 i ，而且还有一个对应观测值 。
   4. 在无向图中每个像素点都成为某一个节点，若使用像素与像素之间的关系作为边连接，这样就组成了条件随机场。最终目的就是使用观测值 来推测这个像素i本来拥有的类别标签 。
   5. 全连接CRFs与稀疏CRFs的最大差别在于：每个像素点都与所有的像素点相连接构成连接边。如果一张图像大小是256X256，那么就相当于有65536个像素点，因此如果采用全连接CRFs的话，那么就会构造出6553665536条边。如果图像大小再大一些，那么就会变得十分恐怖，普通条件随机场推理算法根本行不通。
   6. 全连接条件随机场使用二元势函数解释了一个像素与另一个像素之间的关系：
      1. 给像素关系紧密的两个像素赋予相同的类别标签，而关系相差很大的两个像素会赋予不同的类别标签，这个“关系”的判断与像素的颜色值、像素间的相对距离都有关系。
      2. 与条件随机场相比，“全连接”更加紧密一些。
      3. 在全连接CRFs进行影像后处理的实际操作中，一元势能为概率分布图，即由模型输出的特征图经过softmax函数运算得到的结果；二元势能中的位置信息和颜色信息由原始影像提供。当能量E(x)越小时，预测的类别标签X就越准确，通过迭代最小化能量函数，得到最终的后处理结果。
   7. 全连接CRF用于精确定位。
4. 目前分割不使用CRF后处理的原因：
   1. 原来使用CRF的原因：算法不好使，没把问题解决好，才加后处理。
   2. 目前出来的算法都比较好，加CRF提升不大
   3. CRF和CNN本身是解耦的，即CNN的训练和CRF无关。
   4. CRF本身有带有一堆超参数，不好调节且CRF运算量不小。不少高阶运算，还没法用GPU加速。
   5. （比赛中还是可以尝试看是否可以加分的）。