图像分割
1.语义分割
逐像素点进行分类,具体而言对图像每个像素打上标签(如A部分是树,B部分是人)
2.实例分割
再进行细分,区分类别中的每一个个体。(如B部分有x,y人)
- 损失函数
1.逐像素的交叉熵:图像每个点进行分类
2.样本均衡问题:图像包含的每部分占的比例不同,加入权重
3.损失函数
- 评估指标MIOU
groudtruth与prediction之间的交并比,越接近1,越真实。
3.U-net
- 整体架构
tip
RGB图像一般存储为MxNx3的多维数据矩阵,而灰度图像才由二维数组表示。
RGB图像是三维
- 具体说明
输入224x224x3的图像,逐像素点输出前景(人1)和背景信息(0非人),得到二分类图像224x224x2
- 输入图像-输出图像
首先卷积+池化进行特征提取(下采样),然后上采样恢复图像大小。
简而言之就是编码(输入的图像)到解码(输出的图像)的过程。
拼接:网络中浅层的和深层的特征进行拼接
- 基本思想
4.U-net++
- 拼接
过浅层的网络和深层网络拼接不太理想,下采样后直接上采样,效果更好
- 损失函数
最后使用损失函数评估改为多步使用损失函数