CVPR2020个人总结(阅读笔记)

原文
有空细读,很好的文章

1. Unsupervised Learning

比较有代表性的任务主要分两个方向,
1)low-level task
学光流,深度,correspondence等信息。[1, 2]
2)representation learning
学习representation,以期学到的representation可以帮助down-stream tasks。[3, 4, 5, 6, 7, 8, 9].

这两年间比较火的方式是用instance discrimination(实例区分)的方式来做,并且在down-stream task上取得了超过supervised learning的效果。需要注意的是,representation learning经常利用down-stream task来validate自己学到的representation的有效性,但是不能通过这个结果就武断的否定supervised learning给我们带来的增益,也不能武断地下类似于unsupervised learning学到的feature之后就一定比supervised learning学到的好的定论,只能说目前采用的这种unsupervised的方式学到的representation,比之前用supervised方式学到的representation更适合于所选定的down-stream task,也许换一种down-stream task,这种结论便不再成立。

以下是几篇这次CVPR我看到的采用无监督方式的比较有趣的论文[8, 10, 11, 12, 13, 14, 15]。

2. Self-supervised Learning

其实self-supervised learning本应该是可以放在unsupervised learning那一节的,但是鉴于目前很多工作都是把self-supervised和supervised结合起来,本质上是一种semi-supervised(半监督)方式。在这里特别提一下self-supervised learning + video这个方式,出发点是video的临近帧之间有着良好的consistency,内容的连续性良好,从而格外适合做unsupervised learning。例如,其中一派,动机是为了解决video的稀疏标注问题,核心思想是利用video中已标注的帧对未标注的帧进行监督,所以只需要想到一个办法,将无标注的帧wrap到有标注的帧上,再利用有标注的帧对无标注的帧进行监督,就可以把无标注的帧利用起来。想法很简单,只要选好实现的方式,最终效果就会很明显。可以看到今年CVPR各个领域都有论文采用了类似的idea,有做video segmentation的[16],有做3D hand pose + shape recovery的[17]。还有一派,是基于video的consistency,在网络训练过程中加入consistency loss,从而让网络对连续帧的预测结果保持连贯,这类文章有[18, 19, 20]。

3. 3D representation

David Forsyth提到了3D representation的问题,他的论点主要在于,做3D重建,应该注意的是point cloud,mesh等等这些都只是3D representation的一种,它们各有优势也有不足,它们应该只是作为工具为最终的3D重建而服务,而不应该成为限制我们思考问题的枷锁,我们需要更多的思考如何更合理的重建3D,是否存在比现有工具更好的3D representation。同时他还举了一些生物学上的例子,比如沙漠中的蚂蚁并没有类似于人一样重建周围环境的能力,但是它们一样可以保证在沙漠中不迷路,其原因在于它们无论从巢穴出走了多远,始终都知道巢穴对于它们现在位置的方向,而这个方向感(可以具像化为一个向量),就是蚂蚁重建3D世界所使用的representation。这段讲话很有启发性,鼓励学界从根本上思考3D重建目前的问题。

与之相关的,[14]在文中提出了一种隐式学习3D representation的方式,文中对所学出的来3D representation并没有加入直接对监督,只是要求网络合成的图片和目标图片一致。但是文中是把这个representation当作point cloud来使用,并在文中可视化了这个representation,发现与point cloud基本一致。方式非常巧妙。

4. Small changes that make big impact

最近也出了很多文章,基于deep learning现有方式,只提出了一点改进,却能对结果造成很大影响,不得不让人感叹devil is in the details,同时也让我们开始重新审视之前习以为常的方式方法,学术总是在螺旋中前进。例如[21]中,作者将activation function由relu替换为了文中新提出的siren,效果便得到了极大的改善。[22]中修改了常用的batch norm layer,便很好的缓解了batch size大小对网络结果的影响。从更高维的角度来看,我们人类也许就像是一个实验室中的黑猩猩,笨拙地拿着钥匙希望打开出去的大门,学会与学不会的距离,也许就在差在插入钥匙之后再转动一下这个细微的动作,但在没有任何帮助的情况下,学会这个动作也许也会需要我们很长时间。

5. Think more

听了Alexei的talk之后很有感触,尤其是他说的:我们做research的时候,在提出一个问题的时候出发点都是好的,但一定要注意我们衡量这个问题的方式,也许我们衡量的方式并不是完全合适,所以需要多思考多质疑。这跟最近很多rethinking各类task的文章动机不谋而合[23, 24]。我们做research希望针对的是更general的问题,数据集仅仅是为了validate idea的有效性,而不是为了刷爆evaluation metrics。

附:

一些有趣的文章推荐[25, 26, 27, 28, 29, 30, 31, 32, 33]

[1] Unsupervised Monocular Depth Estimation with Left-Right Consistency

[2] MirrorFlow: Exploiting Symmetries in Joint Optical Flow and Occlusion Estimation

[3] Unsupervised representation learning by predicting image rotations

[4] Unsupervised learning of visual representations by solving jigsaw puzzles

[5] Representation learning with contrastive predictive coding

[6] Contrastive multiview coding

[7] Learning representations by maximizing mutual information across views

[8] MoCo: Momentum Contrast for Unsupervised Visual Representation Learning

[9] Unsupervised feature learning via non-parametric instance discrimination

[10] MAST: A Memory-Augmented Self-Supervised Tracker

[11] Just Go with the Flow: Self-Supervised Scene Flow Estimation

[12] Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild

[13] Self-Supervised Viewpoint Learning From Image Collections

[14] SynSin: End-to-end View Synthesis from a Single Image

[15] Self-supervised Learning of Interpretable Keypoints from Unlabelled Videos

[16] Classifying, Segmenting, and Tracking Object Instances in Video with Mask Propagation

[17] Leveraging Photometric Consistency over Time for Sparsely Supervised Hand-Object Reconstruction

[18] Consistent Video Depth Estimation

[19] VIBE: Video Inference for Human Body Pose and Shape Estimation

[20] Height and Uprightness Invariance for 3D Prediction from a Single View

[21] Implicit Neural Representations with Periodic Activation Functions

[22] Filter Response Normalization Layer: Eliminating Batch Dependence in the Training of Deep Neural Networks

[23] A Metric Learning Reality Check

[24] Google Landmarks Dataset v2 - A Large-Scale Benchmark for Instance-Level Recognition and Retrieval

[25] NASA Neural Articulated Shape Approximation

[26] UniGrasp: Learning a Unified Model to Grasp with N-Fingered Robotic Hands

[27] Self-Supervised Scene De-occlusion

[28] Peek-a-Boo: Occlusion Reasoning in Indoor Scenes With Plane Representations

[29] Visual Chirality

[30] Single-Stage Semantic Segmentation from Image Labels

[31] Pixel Consensus Voting

[32] Towards Better Generalization: Joint Depth-Pose Learning without PoseNet

[33] Coherent Reconstruction of Multiple Humans from a Single Image

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值