论文笔记（一）——3D-Assisted Feature Synthesis for Novel Views of an Object

 

输入：1.一张椅子模型的图片，有类标签。2.这个类下的模型集合

输出：1.这个模型在其他视角中的特征

原理：就像你看不到自己的背后，但是你可以通过看其他人的背后来判断自己的背后大概是什么样子。

寻找代表性patch：

一个视角中的一些patch可以很好的预测其他视角中的patch，这些patch就叫做代理性patch，这些patch所在的区域就是代理性区域.

比如人的手就可以代理人一样，你看到人的手就可以猜到人的脚大概是什么样。

但是人的头发就不能很好地代理人，因为很多动物也有头发，你不能单单根据头发猜到这个动物其他部分的情况。

另外，相比上面一个类比，文章还加了视角的成分。同样一个人，如果你只能从他的左边看到他的手指的个数，只能从他的下面看到他的脚趾的个数，那么他的手指的个数具有代理性，就需要是从左面这个视角看才行。这时，如果说他的手指的个数能够预测他的脚趾的个数，那么就要多加一个限定条件，即从左边看到的手指个数可以预测从下面看到的脚趾个数，反之从其他视角看到的就不行。

再回到文章中，不难看出，作者想找到一个视角下的代理patch，其实就是想找到不同视角之间频繁出现的patch对，

然后作者就自己用公式定义了频繁的意义

其中的r就是不同视角的patch对的频繁性得分，r越大，说明这个patch对在两个模型的特定的两个不同视角中越频繁成对出现。

既然有很多频繁出现的patch对，然后就可以寻找最具有代理性的patch，它和很多patch的频繁性得分比较高

如图，左边的patch和其他视角更多的patch频繁出现，因此它比右边更具有代理性。就像从左边这个视角看人，发现手指的个数比一点点的头发更容易猜到人其他部位一样。

最后

通过找到这个类别下，每个视角下最具有代理性的patch，对于用户输入的模型的一个视角，我们利用前面找到的这个视角下的代理性的patch，找到和输入模型视角中相近的其他模型视角，并且利用其他模型视角代理性patch预测指定视角中的patch，然后把这些patch信息根据之前输入模型视角和其他模型视角的关系整合起来，就得到了输入模型在另外一个视角中的特征。