学术速递2 | 半监督自监督无监督图像分类综述 | 未训练神经网络的修剪等 [2.22]

WX公主号(arXiv每日学术速递)，欢迎关注，感谢支持哦~

几篇本周的paper：

• 牛津大学：裁剪未经训练的神经网络
• 综述：图像分类中的半监督、自监督和无监督技术
• Google Brain：一个前现代日本艺术面部表情数据集 KaoKore
• 南洋理工:具有非局部注意的物体6D姿态估计

首先，上图镇楼：老电影里和真正的2020

• 

1. 牛津大学：裁剪未经训练的神经网络-原理与分析

这个有点意思，一般pruning都是裁剪经过预训练的模型，最近也有研究说可以直接在初始化的时候进行裁剪，但是裁剪过得网络会比较难以训练，本文提出了一个新的方法，上来就吹：“可以修剪高达99.9%的权重，同时保持模型的可训练性。"可信度怎么这么……也说不定吧，指不定炼出了一颗什么丹呢【狗头

标题：Pruning untrained neural networks: Principles and Analysis
作者：Soufiane Hayou, Yee Whye Teh 链接
过度参数化的神经网络展现出了先进的性能。然而，人们越来越需要更小、更高效的神经网络，以便能够在计算资源有限的设备上使用机器学习。一种流行的方法是使用修剪技术，但是这些技术传统上侧重于修剪预先训练的神经网络(例如，LeCun等人，(1990)和Hassabi et al.。(1993))，不过Lee等人在2018年最近的工作显示，在初始化时执行修剪是有希望的。然而，这些方法仍然不能令人满意，因为所得到的修剪网络可能难以训练，例如这些方法不能防止某一层被完全修剪掉。本文对稀疏体系结构的初始化剪枝和训练剪枝进行了全面的理论分析，这一分析使我们能够提出新颖的方法，并在各种网络体系结构上进行实验验证。我们特别强调“我们可以修剪高达99.9%的权重，同时保持模型的可训练性。”

裁剪前后性能对比：

 

 

2. 综述：图像分类中的半监督、自监督和无监督技术

University of Kiel，Germany 标题：A survey on Semi-, Self- and Unsupervised Techniques in Image Classification 作者：Lars Schmarje, Reinhard Koch 链接：PDF 尽管深度学习策略在计算机视觉任务中取得了出色的成绩，但仍然存在一个问题。当前的策略严重依赖大量的标记数据。在许多实际问题中，创建如此大量的带标签的训练数据是不可行的。因此，研究人员尝试将未标记的数据合并到训练过程中，以减少标签数量，来达到相等的结果。由于大量的并发研究，因此很难跟踪最新动态。在本文的调研中，作者概述了标签较少的图像分类中常用的技术和方法，比较了21种方法，作者对比分析后提出了三大趋势与研究方向。

1. 基本概念（Underlying Concepts）： 1.1 学习策略(Learning strategies)：

• 监督学习(Supervised),包含Transfer Learning
• 无监督学习(Unsupervised)
• 半监督学习( Semi-Supervised)
• 自监督学习(Self-supervised)

1.2 相关的技术(Techniques)：

• 一致性正则化(Consistency regularization):
• Virtual Adversarial Training (VAT)
• Mutual Information (MI)
• Entropy Minimization (EntMin)
• Mean Squared Error (MSE)
• Overclustering
• 伪标签(Pseudo-Labels)

2. 目前的方法（Methods）： 2.1 半监督(Semi-Supervised):

• Fast-Stochastic Weight Averaging (fast-SWA)
• Mean Teacher
• MixMatch
• π-model and Temporal Ensembling
• Pseudo-Labels
• Self-Supervised Semi-Supervised Learning (S^4L)
• Unsupervised Data Augmentation (UDA)
• Virtual Adversarial Training (VAT)

2.2 自监督(Self-Supervised):

• Augmented Multiscale Deep InfoMax (AMDIM)
• Contrastive Predictive Coding (CPC)
• DeepCluster
• Deep InfoMax (DIM)
• Invariant Information Clustering (IIC)
• Representation Learning - Context
• Representation Learning - Exemplar
• Representation Learning - Jigsaw
• Representation Learning - Rotation

2.3 无监督(Unsupervised):

• Deep Adaptive Image Clustering (DAC)
• Invariant Information Clustering (IIC)
• Information Maximizing Self-Augmented Training(IMSAT)

3. 对比

• 关于所用到技术的比较
• 关于性能的比较

4. 发展趋势：

• 实际应用(Real World Applications)
• 需要的监督程度正在降低(Needed supervision is decreasing)
• 所有的方法都有共同的技术，而只有很少的方法将这些技术结合起来以获得更好的性能。( Combination of techniques)

3. Google Brain：一个前现代日本艺术面部表情数据集 KaoKore

Google Brain、剑桥等联合发表的数据集，也不知道有什么鸟用，看起来挺好玩……什么时候来个中国古代仕女图、春宫图啥的数据集……
标题： KaoKore: A Pre-modern Japanese Art Facial Expression Dataset
作者：Yingtao Tian, Asanobu Kitamoto
链接：PDF

 

4. 南洋理工:具有非局部注意的物体6D姿态估计

继上次2.75DCNN后，6D已经出现了，还是那句话，没有到不了的36D……[吃瓜]
标题：Object 6D Pose Estimation with Non-local Attention
作者：Jianhan Mei, Xudong Jiang
链接：PDF
在本文中，作者提出了从一幅RGB图像中估计6D物体姿态任务的方法。在基于深度学习的目标检测方法的启发下，提出了一种将6D目标姿态参数估计集成到目标检测框架中的简洁而高效的网络。此外，为了更好地估计遮挡，引入了非局部自我注意模块。实验结果表明，该方法在YCB-Video和Linemod数据集上达到了最好的性能。