深度学习cv之语义分割

增强工具：GitHub - albumentations-team/albumentations: Fast image augmentation library and an easy-to-use wrapper around other libraries. Documentation: https://albumentations.ai/docs/ Paper about the library: https://www.mdpi.com/2078-2489/11/2/125

good语义分割大全：GitHub - mrgloom/awesome-semantic-segmentation: awesome-semantic-segmentation

一、上采样

1.repeat 按行列复制填充

2. Resize，如双线性插值直接缩放，类似于图像缩放

2.1 线性插值

2.2 双线性插值

双线性插值核心思想：是在两个方向分别进行一次线性插值。

假设我们已知函数 f 在 Q11 = (x1, y1)、Q12 = (x1, y2), Q21 = (x2, y1) 以及 Q22 = (x2, y2) 四个点的值，求函数 f 在点 P = (x, y) 的值

3. Deconvolution，也叫 Transposed Convolution

二、语义分割

1、背景：

图像语义分割(Semantic Segmentation)是图像处理和是机器视觉技术中关于图像理 解的重要一环，也是 AI 领域中一个重要的分支。语义分割即是对图像中每一个像素点进行 分类，确定每个点的类别（如属于背景、人或车等），从而进行区域划分

2、语义分割、实例分割、全景分割概念

1. 语义分割（semantic segmentation）：对图像中逐像素进行分类。

2. 实例分割（instance segmentation）：对图像中的 object 进行检测，并对检测到的 object 进行分割。

3. 全景分割（panoptic segmentation）：对图像中的所有物体进行描述

3、语义分割网络在特征融合时也有 2 种办法：

4、 CNN 图像语义分割流程

三、U-Net语义分割