语义分割

图像分割分成二个大类即语义分割和实例分割。因为我的研究方向是语义分割方向，所以我现在更的想法就是分享一下我对于语义分割的看法与自己每天看的语义分割论文。其中主要是自己每天会看的顶会论文和GAN方面的论文、
语义分割简单来说就是将不同的物件与物件所处的场景分割开来，同时对于同一物件，还给予了不同的标注。

2021CVPR论文GitHub
图像分割模型的基本架构包括编码器与解码器。编码器通过卷积核提取图像特征。解码器负责输出包含物体轮廓的分割。其中最常见的网络是u-net和DeepLab 。
U-Net 最初是一个用于分割生物医学图像的卷积神经网络。它的架构由两部分组成，左侧是提取路径，右侧是扩展路径。提取路径用来捕获上下文，扩展路径用来精准定位。提取路径由两个 33 的卷积组成。卷积后经过 ReLU 激活和用于降采样的 22 最大池化计算。
在 DeepLab 架构网络带有上采样滤波器的卷积被用于密集预测型任务。多尺度的物体分割是通过空洞空间金字塔池化（atrous spatial pyramid pooling）完成的。最后，使用 DCNN 来提升物体边界的定位精准度。通过在上采样滤波器过程中插入 0 或对输入特征图稀疏采样，来实现空洞卷积。
损失函数
就我个人看最近的语义分割文章来看，对于损失函数来说用的较多的损失函数是最小交叉熵和最大均方误差这二个损失函数。
最小交叉熵
最小交叉熵是衡量二个分布之间距离的刻度，当交叉熵最小的时候说明二个分布的距离，交叉熵大就说明二个分布的距离越大。
$$H(p,q)=-\sum _{x}p(x)\log q(x)$$
这里我们要注意的是，p和q的交叉熵与q和p的交叉熵是不一样的。其中p是预测值，q是预测值。
最大均方误差
均方误差的意思是从一个样本当中的输出与期望的差值的平方的平均值。
$$MES\left(y,y^{\prime }\right)=\frac{{\sum }_{i=1}^n{\left(y_i-y_i^{\prime }\right)}^2}{n}$$
在回归问题上采用最大均方误差作为损失函数的较多。
个人感受
1.特殊的卷积（1）Astrous Convolutions（扩张卷积）空洞卷积（dilated convolution）是针对图像语义分割问题中下采样会降低图像分辨率、丢失信息而提出的一种卷积思路。利用添加空洞扩大感受野，让原本3x3的卷积核，在相同参数量和计算量下拥有5x5（dilated rate =2）或者更大的感受野，从而无需下采样。扩张卷积又名空洞卷积（atrous convolutions），向卷积层引入了一个称为 “扩张率(dilation rate)”的新参数，该参数定义了卷积核处理数据时各值的间距。换句话说，相比原来的标准卷积，扩张卷积多了一个hyper-parameter（超参数）称之为dilation rate（扩张率），指的是kernel各点之前的间隔数量，【正常的convolution 的 dilatation rate为 1】。
（2）深度可分离卷积SeparableConv2D实现整个深度分离卷积过程，即深度方向的空间卷积 （分别作用于每个输入通道）+ 输出通道混合在一起的逐点卷积。DepthwiseConv2D仅仅实现前半部分的空间卷积 （分别作用于每个输入通道）。（3）可变形卷积卷积神经网络（CNNs）由于其固定的几何结构而固有地局限于模型几何变换。可变形卷积和可变形RoI池。两者都是基于模块中的增加空间采样位置的想法，其中带有额外的偏移量并学习目标任务的偏移量，不需要额外的监督。新的模块可以很容易地取代现有CNN中的普通对等体，并且可以很容易地通过标准的反向传播来进行端到端的训练，从而产生可变形卷积网络。
2.空间金字塔池化等下采样技术。如上述模型中的ASPP模块及JPU模块，并且可以以此技术来相互组合达到更好的效果。
3.CRF（条件随机场）在基于深度学习的语义图像分割体系结构,CRF是一个有用的后处理模块,但是主要缺点是不能将其用作端到端体系结构的一部分。在标准CRF模型中，可以表示成对电位用加权高斯函数的和。但是由于精确的极小化是否考虑了CRF分布的平均场近似用一个简单的产品版本来表示发行版独立的边际分布。它的平均场近似原生形式不适合反向传播。4.Loss函数的更改(1)二分类大名鼎鼎的focal loss，focal loss的提出是在目标检测领域，为了解决正负样本比例严重失衡的问题。是由log loss改进而来的。