本案例我们将主要介绍关于语义分割的应用，一个图像分类任务和关于这个任务的特定算法。之后还会对我最近所做的一些案例进行一些介绍。
目录
简介
根据定义，语义分割是将图像分割成不同的部分，每个部分代表一个实体。例如，我们对图片中的像素进行分类，这个像素可能属于一个人、一辆车、一棵树或数据集里的任何其他实体。
1 语义分割与实体分割
与它的老大哥实体分割相比，语义分割相对容易一些。
在实体分割中，我们的目标不仅是对人、汽车或树进行像素级别的预测，而且还能够识别出每个类别下的每个实体，如人物1、人物2、树1、树2、汽车1、汽车2、汽车3等等。目前实体分割算法中最出色的就是Mask R-CNN。这个算法有两个阶段，由多个子网络构成：RPN（区域推荐网络），FPN（特征金字塔网络）和FCN（全卷积网络）。
2 案例研究：Data Science Bowl 2018
Data Science Bowl 2018刚刚结束，我从中学到了很多东西。其中最重要的一课就是数据预处理和后处理对机器学习甚至深度学习的结果都有着至关重要的影响。这对我们如很根据问题建立模型非常重要。
我将会对夺冠组的模型与本案例的相关部分进行简要介绍。
Data Science Bowl 2018的任务是识别给定图片中的细胞核并针对每个细胞核生成一个滤镜。
现在让我们来思考一下要解决这个问题我们需要使用语义分割还是实体分割呢？
下面是一张加了滤镜和未加滤镜的样图：
这个问题可能一听起来像是一个语义分割问题，但它实际上是一个实体分割问题。我们需要分别识别出图片中每个细胞的细胞核，就像前面例子中要识别出人物1、人物2、树1、树2、汽车1、汽车2、汽车3等等一样。也许这项任务的动机是随着时间的推移，从细胞样本中追踪细胞核的大小、数量和特征。这一追踪过程的自动化能够提高疾病治疗方案研发的速度。
或许你现在会想问本案例的题目是语义分割，那为什么还会在这里浪费篇章讲解一个实体分割的案例呢？确实，这是一个实体分割的案例，但是后面你会看到我们如何将这个实体分割问题转化为以多类别语义分割问题。
在Data Science Bowl 2018三个月的比赛过程中只有两个模型被大家广泛讨论应用：Mask-RNN和U-Net。如我之前所说的那样Mask-RNN是当今实体识别最优秀的算法之一。它可以探测出每个个体并预测它们使用的滤镜。但是由于采用了包含两个阶段的学习方法，Mask-RNN的实现和训练非常困难。你需要先训练一个RPN（区域推荐网络）然后在对边界框，类别和滤镜进行预测。
而U-Net是一种非常流行的用于语义分割的端到端编码解码器网络。它最早被用于生物医学图片分割，与Data Science Bowl 2018中的任务非常相似。现在我们来详细地学习一下U-Net。
让我们从网络结构开始学吧。
对之前学习过卷积神经网络的读者来说，这部分学习起来应该不难。上图中的第一部分被称为下降部分（down），或者你可以把它理解为用卷积块和最大值池化下采样从不同层次上对输入图像特征进行提取。
网络的第二部分包括上采样、链接和常规的卷积操作。CNN上采样或许对许多读者来说是一个新概念。但是它不难理解：即扩张特征图的维度使其与左边的链接块维度相同。你可以看到图中的灰色和绿色箭头代表的就是我们将两个特征图链接在一起的过程。与其他完全卷积性分割网络相比，U-Net的主要贡献在于，当我们在网络上进行采样和深入的时候，我们将下降部分高分辨率特征与上采样特征连接在一起，以便使接下来的卷积过程更好地进行特征集中化和特征学习表示。由于上采样是一种扩散的操作，所以我们需要在前面的阶段中进行良好的特征集中化表示。与上面相似的同层级融合的思想同样在FPN（特征金字塔网络）中也
最低0.47元/天 解锁文章
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
