论文题目:RGB-D Object Recognition Using Deep Convolutional Neural Networks
论文地址:
https://ieeexplore.ieee.org/document/8265318/ieeexplore.ieee.org摘要
与RGB图像数据相比,目前还没有包含深度信息的大型数据集,难以从零开始训练一个有效的深度升神经网络。因此文章主要提出了一种混合的2D/3D卷积神经网络,该网络可以利用预先训练好的2D CNNs(VGGnet)进行初始化,然后在相对较小的RGB-D数据集上进行训练。文章主要贡献如下:
- 利用预先训练的VGGnet模型从RGB图像中提取特征,并利用这些特征训练线性SVM进行基于RGB的分类识别。
- 对RGB-D图像的深度信息进行了预处理,构建了一种深度与RGB信息相结合的3D立体像素表示,并以此作为输入训练了一个3D卷积神经网络。
- 对VGGnet进行了修改,构建了一个可以接受3D输入的VGG3D网络。
- 将以上三个模型进行融合,融合后的模型在Washington RGB-D数据集上超过了当时最先进的结果。
方法介绍
模型主要由三部分组成:
VGGnet
![aa51d3e9d5a6dc5e820d8ed83ad56ae7.png](https://i-blog.csdnimg.cn/blog_migrate/2e85ff6f7eef7eb2dc715a7469c92f17.jpeg)
使用预训练好的VGG16模型,去掉了VGG16最后的3个全连接层中的后2个,然后用第1个全连接层输出的特征训练了一个线性SVM进行分类。
3D CNN
![557d12fa0938c0d05118391e0994b4ec.png](https://i-blog.csdnimg.cn/blog_migrate/913c70e19379229b18d85990b9e5815f.jpeg)
先把RGB-D图像的RGB信息和深度信息结合起来,形成一种3D立体像素结构,作为后续模型的输入。
![d93ff71c86b1829cb20c2a074f06a90f.png](https://i-blog.csdnimg.cn/blog_migrate/35e18e25de9c8e1c8949b393e4f57ee3.jpeg)
然后构建了一个图中结构的3D CNN。将3D立体像素表示的输入规模重新减小为30×30×30来方便训练。
VGG3D
![bc7b46bb417fa3b022dfb67f005978ba.png](https://i-blog.csdnimg.cn/blog_migrate/8531044d9ba920621038490638fa245a.jpeg)
将VGGnet-16的第一层替换为3D卷积层,将上一节中构建的3D体素结构数据作为输入进行训练。输入数据的维度为N×N×D×3,3D卷积核的大小为3 × 3 × D,通过沿着深度d的方向复制VGGnet第一层的卷积层的参数来进行权重初始化。
在第一层之后,网络结构和原始VGGnet相同,并产生与原始VGGnet在输入相应的RGB输入图像时相同的结果。
模型融合
最后,将三个模型的输出的特征拼接起来,作为输入提供给线性SVM,获得最终的分类结果。融合中加入VGG3D有望弥补3D CNN由于训练困难而无法建模的部分3D信息。
实验结果
作者在Washington dataset上进行了实验,使用VGGnet模型识别RGB图像以及使用融合后的模型识别RGB-D模型均获得了当时最好的结果。3D CNN由于是从零开始训练,且数据集较小,对输入数据进行了缩放,丢失了部分信息,所以效果不佳。
![9c09a09d78870881777a27f76dad4bf0.png](https://i-blog.csdnimg.cn/blog_migrate/4b65ef1d6d139b370f272a409ef5a073.jpeg)
![32a87d0e0ee579c58ebc919007d5dfe9.png](https://i-blog.csdnimg.cn/blog_migrate/9d7dc777c22cad6bbc3d161a00c21524.jpeg)