深度学习aps_研究进展：深度学习信用分配的统计物理理论

深度学习技术是基于多层神经网络的机器学习方法，已经广泛应用于物理、化学、生物、计算机科学、神经科学等多个领域。但是，巨量的网络连接参数以及多层嵌套的非线性函数使得深度学习高度非透明(也被诟病为黑箱)。通俗地讲，人们并不知道网络最后一层的决策行为是如何由巨量的表征参数决定的(即信用分配问题)。这无疑对工业应用比如自动驾驶、医学诊断等，甚至对利用深度学习进行科学探索方面构成 “ 模型信任 ” 威胁。另一方面，近年来机器学习本身也发现了深度网络存在随机子网络的经验事实，这与网络压缩、迁移学习存在本质联系。因此，从理论视角去理解深度网络的决策行为具有十分重要的研究价值和意义。

中山大学黄海平课题组从统计系综角度提出了深度学习的 SaS (spike and slab) 模型，该模型假设网络的连接服从 SaS 分布(图 1 )，从而不仅能让学习定义在系综水平(即搜索一组候选网络拓扑)，而且能定量的刻画网络连边的属性，比如非常重要，不重要，和不确定(图 2 )。不确定的连边解释了网络对含噪感知输入的编码，比如许多对决策行为没有信息量的维度。干扰非常重要的边将对网络的决策造成显著的影响。该模型还揭示了深度网络的中间层具有较大的模型随机性(图 2 )，可能对应较快的学习动力学。该模型可以利用平均场理论进行训练，在某一极限下得到经典的反向传播算法(点估计，而非系综估计)