关于深度学习的几点思考

最近在读到相关的文献和书籍时，有些内容写的较好，这里写成博文给大家分享。
深度神经网络之所以能够取得巨大的成功，在于对核心算法的改进时采取了一类简化的激活函数，即规则化线性单元(rectified linear unit,ReLU)。
深度学习最适合用ReLU作为激活函数，其所给出的理由包括对ReLU与人脑神经元的相似性，因为神经元对某些输入完全没有反应，而对一些输入的反应呈单调关系，每一时刻处在激活状态的神经元总是稀疏的。这些工作奠定了2012年Hiton团队首次采用深度卷积网络赢得ImageNet挑战赛的理论基础。
深度神经网络的本质时采用很多嵌套的非线性函数来拟合海量的数据，监督学习即拟合高纬数据空间的中的一个流形，而非监督学习如生成网络则拟合一种分布。到目前为止，真正解决实际应用问题的深度学习技术无论在网络结构上有各种各样的创新，或者在训练优化算法上有各种各样的设计，都逃脱不了一个模式，即用海量的训练数据来拟合包含未知数的复杂多层网络。
然而，无论深度学习技术取得多大的成功，我们还没有突破其曲线/曲面拟合的本质。已有学者已经开始反思深度学习面临的困境，由于其背后基础理论积累不足，深度学习技术很快就陷入一个瓶颈期，各种工具箱的出现使得大多数人可以轻易掌握深度神经网络应用技能，绝大多数人掌握这些技能后便快速陷入参数、调结构的瓶颈。显然，这本身就是一份机械的工作，可以被人工智能所取代。
注：本文参考《合成孔径雷达图像智能解译》徐丰等著