基于卷积神经网络和投票机制的三维模型分类与检索 2019 论文笔记

作者：白静

计算机辅助设计与图形学学报

1、解决的问题

由于三维模型投影得到的视图是由不同视点得到，具有相对独立性，这种像素级的融合运算并没有直接的物理或者几何意义，更有可能造成图像有益信息淹没和混淆。

2、创新点

提出基于卷积神经网络和投票机制的三维模型分类和检索算法。

3、优点

这种加权投票的分类思想既确保了三维物体各个视图间的相对独立性，又避免个别有歧义视图对物体类别判断的误导。

4、缺点

本文算法存在局部特征识别及细分类能力较弱的问题.，无法有效区分table和desk这些模型所属类别。

5、算法原理

首先，利用多视图表征3D模型；

其次，利用卷积神经网络完成基于视图的处不识别；

最后，通过决策层的加权投票完成3D模型的最终分类，以避免像素级的视图融合，突出多数有效视角，减小少数不佳视角干扰，仅为提高三维模型的分类能力。

5.1、多视图表征

本文采用Su-MVCNN所提出的12视图渲染方式构建给定网络模型M的多视图表征V(M)

5.2、弱分类器：视图分类及表征

考虑到3D模型库的规模及视图的复杂性，选用Jia提出的C阿飞飞Net作为面向单个二维视图分类及表征的深度学习模型。

该网络共包含8层，其中前5层是卷积层，中间是2个全连接层，最后一层为网络输出层FC8和Softmax分类层。

此训练分为2步：

首先利用ImageNet图像资源作为输入，对CaffeNet进行预训练；

然后采用3D模型渲染的二维视图作为输入对获得的网络模型进行微调，使最终获得的网络模型有效适应3D模型对应的二维视图。

训练好后，给定3D模型M的单个视图vl，以FC8层的输出Dl作为该视图的特征描述，其中k为类的数目；以softMax层输出结果Pl作为分类结果，即视图属于各个类的概率。

5.3、强分类器：基于投票的三维模型分类

给定3D模型M多视图表征中每个视图属于各个类别的概率，以其为输入，构建强分类器，完成三维模型的分类。设依据视图属于每个类的概率分布情况，计算类i所获视图投票知为T