深度模型的训练的基本依据是最小化模型拟合数据的误差。旨在不仅知其然（如何构建和训练一个深度模型），还应知其所以然（为什么这样训练，可以做哪些优化）。我们就会发现，有很多研究者，在面向一些特定问题下，深度模型训练算法中的误差函数定义也就有很多种。而万变不离其宗，如果想设计有效的新颖Loss函数，可以参考的“宗”便是统计学理论，概率论。例如，Loss 如果是square loss，就是最小二乘，SVM 的loss是Hinge Loss，Boosting的是exp-loss，Logistics Regression则是log-loss。
比如 《Faster Gaze Prediction With Dense Networks and Fisher Pruning》提出了采用Fisher information 来指导精准化地深度模型的pruning(剪枝)。感兴趣的读者可以阅读这篇论文。推荐精读这篇文章，是因为它是一篇 以“数学理论” 指导 “深度模型优化”的文章。深度模型发展至此，它在不同应用（图片，视频，活动，文本等）中的可用性和影响力无需多说，但是关于深度模型的可解释性一直是个open problem。深度模型的优化也应走 “朴素理论指导深度模型实践的路线”来尝试探索深度模型的可解释性。
在我的观点里，深度模型像是一个高度抽象的统一框架，满足了人们对整洁美的追求，它拥有一种神秘的超自然力量。只要按照固定模式构建和训练深度神经网络，它总能work。 但其弊端也很明显，如果研究者不在概率方法下一些功夫，不太能真正理解其原理，更不能做深度模型的优化。我们尽管承认了深度模型有不能解释的因素，但是我们依然需要想尽办法让这种【不可解释性】的程度最小。
这篇短文将探索几个统计学概念。目的是探索什么是Fisher information，Hessain 矩阵，似然估计。它们在 “统计学”
最低0.47元/天 解锁文章
7163
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
