SDL-CV 2019参会感想

SDL-CV 2019参会感想

在今年的ICCV中，举办了首届SDL-CV研讨会，SDL-CV全称Statistical Deep Learning in Computer Vision，专注于通过统计学方法，提高我们对深度学习的理解，并由此开发新的方案以提高其性能，并应用到如对象识别，检测，分割，跟踪，场景描述，视觉问答，机器人视觉，图像增强和恢复等计算机视觉任务。研讨会包括了特邀演讲，口头演讲，海报展示等环节，主要面向那些致力于开发新的统计深度学习算法以及应用它们来解决计算机视觉中的实际问题的研究生、研究人员和实践者。

特邀演讲

当然最具亮点的还是特邀演讲，本届研讨会从世界各地请来了相关的领域的资深科学家，针对深度学习的前沿问题进行了宣讲。其中就包括顾险峰教授，他师从国际著名微分几何大师丘成桐，并与丘成桐及其合作者共同创立了《计算共形几何》，由于笔者前一阵一直在关注他对于深度学习的几何解释，颇具震撼，所以对其印象特别深刻。

下面按顺序简述一下他们的演讲内容，感兴趣的读者，可以在官网找到其相关的slides和abstract。

视觉和神经科学中的表征学习（Yingnian Wu）

该演讲主要从计算机视觉和神经科学领域探讨了向量和矩阵表征学习。首先从深度生成模型开始，列举了生成器模型，基于能量的模型，基于流的模型，然后介绍了生物神经科学中的表征学习，其中最令人印象深刻的就是神经信息表征在生物大脑中的导航能力的体现。同时还列举了大量的关于生物神经表征的理论和观察。笔者认为在深度学习今天遭遇瓶颈的状况下，深入研究生物大脑中的神经表征会是一个非常重要的方向，借鉴强大的生物智能，既能帮助改进现有的算法，还能对我们人类本身的行为带来进一步的认识。

最优传输和生成对抗网络的几何观点（Xianfeng Gu）

演讲介绍了最优运输(OT)观点下的生成对抗网络。自然数据集往往都具有其固有的模式，按照流形分布原理可以概括为：某一类数据的分布接近于一个低维流形。而GANs主要完成了两个任务：流形学习和概率分布变换。后者可以用经典的最优运输方法来实现。从OT的角度出发，生成器计算最优传输图，鉴别器计算生成的分布与真实数据分布之间的Wasserstein距离，两者都可以简化为凸几何优化过程。此外，OT理论还发现了生成器和鉴别器之间固有的协作关系，而非竞争关系，以及导致模式崩溃的根本原因。在此基础上，他们提出了一种新的生成模型，该模型使用自编码器进行流形学习，使用OT映射进行分布变换。AE-OT模型提高了理论的严谨和透明性，提高了计算的稳定性和效率，特别是消除了模式崩溃。实验结果验证了该假设，并证明了提出的模型的优点。

通用特征——转移学习的信息提取（Lizhong Zheng）

深度神经网络已在广泛的应用中获得了成功。在概念层面上，我们知道数据和标签之间的统计相关性是学习得到的，并且在DNN的权值中存储了条件分布的近似版本。通过试图理解DNN，我们的目标是对统计量在网络中是如何表示的这一问题给出数学解释，这样我们就可以把在一个DNN中学到的知识和从其他来源（如先验知识，结构知识，或从其他神经网络学到的结果）得到的知识整合起来，或者仅仅是将它用在一个新的相关的问题上。在这篇演讲中，他们试图通过建立一个理论框架来解决这个问题，通过信息与特定推理问题的相关性来衡量信息的意义，并以此来解释神经网络的行为为提取“通用特征”，该特征被定义为特定优化问题的解决方案。他们发现，这个学习过程与统计和信息论中一些众所周知的概念密切相关。在此理论框架的基础上，他们论证了一些灵活方法将神经网络用于迁移学习，特别是与一些传统的信号处理技术相结合。

通过正交组上的L4 -范数最大化进行完整的字典学习（Yi Ma）

这个演讲是关于从稀疏信号样本中学习一个完整(正交)字典的基本问题。现有的大多数方法都是基于启发式算法来解决字典(和稀疏表示)问题，通常没有理论保证最优性或复杂性。最近的基于L1-minimization的方法确实提供了这样的保证，但是相关的算法一次恢复一个列。他们提出了一个新的公式，最大化正交组上的L4范数，以学习整个字典。证明了在样本复杂度接近最小的随机伯努利高斯数据模型下，L4 -范数的全局最优解非常接近真实的符号排列。受此启发，他们提出了一个概念简单但有效的基于“匹配、拉伸和投影”(MSP)的算法。该算法可证明在超线性(立方)速度下局部收敛，每次迭代的代价仅为奇异值分解。实验表明，该算法不仅具有较强的理论保证，而且比现有的方法(包括KSVD方法和基于L1的方法)更有效。在真实图像上的初步实验结果清楚地显示了所学到的字典相对于经典PCA基的优势。

深度网络架构（Alan L. Yuille）

深度网络在某些应用领域非常成功，但在其他领域却面临巨大挑战。如何理解深度学习，并将它们与其他机器学习方法(如随机森林)结合起来，将它们迁移到其他领域，在有限监督的条件下学习，对于这些问题，该演讲描述相关的最新进展。

深度生成模型的验证（Mehdi Sajjadi）

关于深度生成模型的评估，一直都是个难点，目前学术界对于GANs生成图片的评估方法主要用Inception Score（IS）和Fréchet Inception Distance（FID），他们都依赖于用 Imagenet训练的Inception V3模型，这显然会跟分类器的性能有关，演讲中提到了一些看起来非常糟糕的生成图片，依然能得到较高的IS和FID分数，然后提高了一些可行的改进的方向。笔者最近正在做一个跟GANs有关的项目，其性能的评估也确实让人感觉有点草率，对官方预训练Inception V3模型的依赖，让一些特定任务的生成图片无从下手，这个演讲也确实带来了一些的新的思路来改进目前项目中的评估方法。

Poster环节

Poster环节还是非常热闹的，几乎每个展板前都有很多来自世界各地的学者在专注地交流。由于笔者上半年在胶囊网络的改进实验上的一些新发现，整理成了一篇论文投到了这里，上图便是与学者们交流的现场，交流的过程还算顺畅，而且也有不少人对当前胶囊网络的进展表示关注。如果读者有兴趣可以在官网看到这篇论文。

总结

在移动互联网，大数据热潮下，深度学习得到了前所未有的应用并且也发挥出了强大的能力，解决了太多曾经在计算机视觉，语音，自然语言处理等领域的难点问题，随着深度学习的进一步落地，其问题也逐步凸显，对真实世界的泛化性能，对抗攻击，不可解释等问题已经成为它进一步发展的瓶颈。而本次研讨会的主题Statistical Deep Learning正是要激励相关领域的学者们通过统计学方法来解决现有的问题，通过统计学方法，逐步地揭开深度学习的黑盒，使得其更好地落地到实际任务中。