【文末送书】曾因「抢车位」出圈儿，神奇的Mask R-CNN了解一下？

注：文末将送新书《深度学习与目标检测》

自从深度学习被应用到计算机视觉领域，目标检测算法在短时间内有了很大的进步，甚至有人为了抢个车位用上了Mask R-CNN进行自动检测

能有这样的神仙操作，多亏了Mask R-CNN在物体检测中能得到像素级别的检测结果。Mask R-CNN能够对每一个目标物体，不仅给出其边界框，并且对边界框内的各个像素是否属于该物体进行标记！

本文选自《深度学习与目标检测》一书，带我们一同来了解一下这个神奇的Mask R-CNN~

2017年，Kaiming He等人提出了针对实例分割（instance segmentation）的Mask R-CNN模型[1]，将Mask R-CNN看成在Faster R-CNN基础上进行的扩展，在其已有的基于边界框识别的分支上添加了一个并行的用于预测目标掩码的分支，以完成实例分割任务。

实例分割简介

语义分割（semantic segmentation）通常是在像素级别上进行的，用于标注不同的类别。

例如，在自动驾驶项目中，一个类别可能是指行人、车辆、广告牌或者其他模型需要识别的类别。模型通过学习，最终会形成对行人、车辆、广告牌等不同类别的划分标准。但是，若仅进行语义分割，有时会出现问题，如图。

语义分割

上图是一幅标注得很精确的语义分割图片，不仅不同类别之间的边界清晰，而且分类准确。但是，图中所有的车都被标注成“车”这个类别（因为图片上的车之间有重叠，所以有些算法在理解这个信息时就会遇到问题）。毕竟这不是一辆长度为一个街区长度的履带式车辆，而是一系列前后排列的、单独停在路边的车辆。

语义分割只能区分不同的类别，但不能区分不同的实例（两辆车虽为同一类别，但它们作为不同实例的区别并不能在语义分割中体现）。

这时，实例分割的意义就显现出来了。实例分割可以作为目标检测与语义分割的结合，它不仅能在图像中正确地将目标检测出来，还能对每个目标实例进行精准的分割，效果如图。

实例分割

实例分割是在语义分割的基础上对不同的实例进行逐像素的分割。

与语义分割相比，实例分割对属于同一个类别的不同目标实例进行了区分。这样的标注更容易让自动驾驶车辆模型取得满意的结果。尽管基于实例的标注会花费较长的时间，但是对企业级的标注项目而言，可以通过这个细微的变化大幅提升精确度，进而得到更优秀的算法。

COCO数据集的像素级标注

Mask R-CNN的训练是在COCO数据集上进行的。

在COCO数据集的目标检测任务中，检测结果的保存格式有两种：一种是使用一个2D边界框来定位图像中不同的目标（在对定位精度要求较高的应用中显得有些粗糙）；另一种是逐像素对目标进行分割（相应地，图像中的每个像素都会被标注出来）。尽管不同的标注方式来源于不同的项目需求，但近年来对像素级别的实例分割的需求正在增加。

COCO数据集逐像素分割的总体思路是：提供每一个目标实例在整幅图像的每个像素上的分割掩码（segmentation mask），用1和0区分目标和背景，掩码的像素级标签使用行程长度编码（run-length encoding，RLE）机制。RLE是一种简单、高效的二进制掩码储存格式。RLE首先将向量（或者向量化的图像）划分为一系列分段的连续区域，对每个区域储存其长度。例如，当 M=[0 0 1 1 1 0 1]时，其RLE计数为 [2 3 1 1]，而当 M=[1 1 1 1 1 1 0]  时，其RLE计数为 [0 6 1]。RLE 计数的奇数位置上表示的总是0的数量。

---

[1] K. He, G. Gkioxari, P. Dollar, et al. Mask R-CNN. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, PP(99):1-1. 

—— 图书推荐 ——

▊《深度学习与目标检测》

杜鹏 谌明 苏统华 编著

本书的写作初衷是，从学者的角度，用一种通俗易懂的方式，把与基于深度学习的目标检测的相关论文中的理论和方法呈现给读者，同时针对作者在深度学习教学过程中遇到的难点，进行深入的分析和讲解。

本书侧重对卷积神经网络的介绍，而深度学习的内容不止于此。所以，作者将深度学习分为有监督学习、无监督学习和强化学习三类，将图像分类、目标检测、语音识别、人脸识别、对抗生成网络和AlphaGo围棋等应用场景归入不同的类别，并分别对其原理进行了概括性的讲解。

好消息！赠书！

参与方式1

本次为大家送出正版《深度学习与目标检测》新书！公众号后台、或者扫以下码，回复 送书 ，参与抽奖！5月12日20点结束。中奖读者将被免费寄送正版图书1本！！！

参与方式2

将本文转发至朋友圈，保留1小时以上（需在早上9点-晚12点间），截图发至公众号后台，12小时内将被邀请到【送书微信群】，5月13号晚9点，管理者将在群内发红包（每人都有），红包最小者将被免费寄送正版图书1本！！！（该方式参与人数一般较少，中奖概率较大，强烈建议参与~）

如果您没有中奖，或者不想参与上述赠书活动，但还想拥有此书，只能自己买了！这里提供一个限时优惠链接，长按下面二维码或者点击阅读原文优惠购买！

▲ 新书上市，扫码获取详情 ▲