我目前在车厂无人驾驶部门的职责之一
便是研发无人驾驶感知领域语义|全景分割数据集
的半自动标注算法
再具体一点
计算机视觉领域的: 语义分割(Semantic Segmentation) 和 全景分割 (Panoptic Segmentation)https://arxiv.org/pdf/1801.00868.pdf
它们或许是数据标注领域成本最高的俩个任务(德国高达100人民币/图)
它们的具体定义可以见上图
一、标注任务
语义分割: 对图片中每一个像素标注其类别(如:汽车、行人、道路等)
全景分割:对于每一个像素,在语义分割的基础上再区分目标instance物体(如:汽车1、汽车2、行人5等)
二、标注格式
通常标注结果还是存成图片的常见格式(如: png)
图片的每一个通道存储不同信息(用数字1-255表示)
例如第一通道存储: 该像素所属类别
第二通道:如果该像素属于目标物体,他属于第几个instance
第三通道:通常是0或1,1表示该像素是可以驾驶的区域,0反之
三、开源数据集
Cityscapes(戴姆勒公司、德国马普所、TU Darmstadt): https://www.cityscapes-dataset.com/
等等
可以看到背后都有财团的支持
四、数据集的成本和作用
成本:
据Cityscapes官方,标注一张该数据集中的语义分割
平均需要1.5小时!!!
德国最低工资是9欧元左右/小时
因此在德国标注一张语义分割图片的成本超过13欧元(约合100块人民币)!!
重要性:
深度学习需要大量精细标注的数据作为“燃料”
保守L3要能够上路
需要至少几百万张标注精细的训练图片
人工智能时代,谁拥有数据谁就拥有源源不断的燃料
数据集也成为无人驾驶公司和主机厂的兵家必争之地
五、用优化算法节约标注成本
手动标注一张语义分割像素级别的图片平均需要1.5小时
有没有什么更智能的办法提高标注效率呢?
专注于优化算法的 @运筹OR帷幄
以下略探12:
标注软件的一般流程是:
标注者输入交互信息-算法自动标注-标注者修改-算法标注
直到标注者满意为止
图像分割优化算法结合深度学习CNN
便可以达到相较于精细标注95%的精度
We obtain state-of-the-art results on Pascal VOC, for both full and weak supervision (which achieves about 95% of fullysupervised performance).
注:以上研究方向关键词
weakly and semi-supervised learning
也欢迎关注我最近发表在TIP的一个相关工作:
六、Github上优质标注工具opencv/cvatgithub.comabreheret/PixelAnnotationToolgithub.com
fidler-lab/curve-gcngithub.com
七、结语
数据标注是如今深度学习获得巨大成功的基石
从Feifei Li创建ImageNet(1千多万张、2万多类别图片)开始
数据集便成为计算机视觉的一个热点话题
而伴随着数据集的各种challenge和刷榜单
也成为CV领域发顶会的标配
希望“无偿”使用公开数据集的研究者和业界从业者
都能尊重数据集创作者的汗水
人工智能的从业者
也能认可那些幕后做着重复枯燥标记工作者的付出
(例如:贵阳数据标记村)