统计深度学习与最优传输理论，传统方法vs深度学习，符号主义与联结主义

   本文多处摘引自当深度学习遇到3D，并记录一些自己的理解。

统计深度学习与最优传输理论

  统计深度学习的理论框架可以用范畴语言来描述，范畴包括 流形上的概率分布和流形间的变换。数据集是流形上的概率分布，深度神经网络表达流形间的变换。生成模型是从流形分布中随机采样，图像去噪是向流形投影，迁移学习是计算流形间的映射，对抗样本是寻找分布之间的缝隙。
  在该篇文章中，作者认为，深度学习成功的本质原因在于深度学习方法抓住了数据的内在模式，而数据的内在模式可以归结为流形分布律：一类自然数据可以表示成低维流形上的一个概率分布，而这个低维流形嵌入在高维的数据空间之中。如下图所示，人脸图片是一类自然数据，每张图片被视为一个点，这类数据被视为一个点云，嵌入在图像空间之中。图像空间的维数等于每张图片的像素个数乘以通道数目（512x512x3），大约78万维。而人脸图片点云只集中在某个低维流形附近，此流形的维数大约一百几十维左右。人脸图片点云在此流形上的分布不是均匀的，不同的民族和年龄对应的分布也不相同。