用于自动驾驶的实时联合目标检测和语义分割网络

欢迎关注微信公众号【计算机视觉联盟】 获取更多前沿AI、CV资讯

---

【全文下载方式】：

关注【计算机视觉联盟】公众号后台回复关键词：

2019012001

卷积神经网络（CNN）成功地用于各种视觉感知任务，包括边界框对象检测，语义分割，光流，深度估计和视觉SLAM。通常，这些任务是独立探索和建模的。在本文中，我们提出了一个用于学习对象检测和语义分割的联合多任务网络设计。主要动机是通过共享两个任务的编码器来实现低功耗嵌入式SOC的实时性能。我们使用类似编码器的小型ResNet10构建了一个高效的架构，这两个编码器共享两个解码器。对象检测使用YOLO v2之类的解码器，语义分割使用FCN8之类的解码器。我们在两个公共数据集（KITTI，Cityscapes）和我们的私人鱼眼摄像机数据集中评估建议的网络，并证明联合网络提供与单独网络相同的精度。我们进一步优化网络，为1280x384分辨率图像实现30 fps。

在本文中，讨论了多任务学习在联合语义分割和对象检测任务的自动驾驶设置中的应用。 首先，需要完成这两项任务而不仅仅是语义分段。 然后我们讨论了使用多任务方法的优缺点。 通过仔细选择编码器和解码器构建了一个高效的联合网络，并进一步优化它以在低功耗嵌入式系统上实现30 fps。 在三个数据集上分享了实验结果，证明了联合网络的效率。 在未来的工作中，我们计划探索视觉感知任务的增加，如深度估计，流量估计和Visual SLAM。

【全文下载方式】

关注【计算机视觉联盟】公众号后台回复关键词：

2019012001

2018年12月精选文章目录一览

亲身经历2019年校招8个大厂心得体会，纯干货分享（大疆、百度...）

重磅！图森王乃岩团队最新工作—TridentNet：处理目标检测中尺度变化新思路

GANs最新综述论文: 生成式对抗网络及其变种如何有用【附pdf下载】

算法岗百里挑一热爆了，全球AI大厂薪酬大起底

史上最全！计算机科学领域顶会最佳论文大合集：微软研究院最多，清华排24

【资源下载】512页IBM沃森研究员Charu最新2018著作《神经网络与深度学习》（附下载链接）

人工智能相关领域的国际顶尖会议介绍