[Charles系列] 1. Render for CNN: Viewpoint Estimation in Images Using CNNs Trained with Rendered 3D

3D物体检测 专栏收录该内容
3 篇文章 0 订阅

                                                                Charles文章发表序列

因为刚进入3D物体检测坑,因此找了个作者从2015年的文章慢慢看,然后会再继续看比较好的文章。

看文章时产生的问题:

  • viewpoint在3D检测里是指什么?
  • Intro中说:”features learned by task-specific supervision leads to much better task performance“指的是说CNN网络可以对于特定监督任务产生更好的效果——看两篇超经典论文《Rich feature hierarchies for accurate object detection and semantic segmentation》以及《Imagenet classification with deep convolutional neural networks》来讨论这个问题
  • Intro中:”We believe that 3D models have the potential to generate large number of images of high variation, which can be well exploited by deep CNN with a high learning capacity.“说的images of high variation是不是相当于CNN中各种卷积层生成各种resolution的图像?
  • 第四部分Render for CNN System中说到:”To generate a deformed model from a seed model, we draw i.i.d samples from a Gaussian distribution for the translation vector of each control point.“ 这一块确实看不懂,有可能需要从文章的[30][31]两篇引用中寻找答案。
  • 损失函数部分:”By substituting an exponential decay weight w.r.t viewpoint distance for the mis-classification indicator weight in the original soft-max loss, we explicitly encourage correlation among the viewpoint predictions of nearby views.“ 这块应该是在说,d(V, Vs)代替普通函数,这块就考虑到了距离问题,从而希望相邻视图的视点可以相互预测。

文章重点总结:

首先,这篇文章主要想做的事情是关于viewpoint estimation的。现在看来,似乎用CNN网络作为backbone是很正常的情况,但是本文章发于2015年,当时3D大多用SIFT算法提取特征,因此本文应该也算是蹭了蹭CNN热点。

从正文看起,文章主要解决的两个问题:①具有正确viewpoint标注的3D训练集数量太少。②缺少powerful且可以用于viewpoint估计的特征太少了。于是针对这两个问题,文章做出了解答。

一、针对于训练数据集数量少的问题

文章是采用了图像合成的方法,在related work部分作者指出2015年的时候就已经有不少Synthet Images用于训练了,但是基本类别都比较少,同时也不是放到CNN里训练,因此他这里有创新点。

具体合成方面:作者采用的是symmetric-preserving deformation方法,生成了large number of images of high variation, 生成高变化的图片目的是为了防止CNN过拟合。

在CNN方面,文章引用的是AlexNet,具体实现有所变化。

 作者先用了几层卷积,然后再加上了几层全连接层专门用于给每一个类别做分类。损失函数如图

 最终的实验效果:

1.joint detection:利用R-CNN做bounding box regression

 2.Viewpoint Estimation

 

 

 

 

 

  • 0
    点赞
  • 0
    评论
  • 0
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

©️2021 CSDN 皮肤主题: 数字20 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值