深度学习的数学基础

神经网络结构设计中，一个重要的特性是能够接近输入的任意函数。但这种能力大小取决于体系结构的参数，例如网络的广度和深度。更深层次的架构能够更好的捕获数据的不变性质，而非简单的浅层数据。神经网络体系结构的关键特性还有就是能够通过少量的训练数据进行推广和泛化，同时可以使用正则化技术来防止过拟合情况的发生。第三个是数据表征。网络架构能够产生一个良好的数据表征。表征是指对某一个任务有用的输入数据的任意函数，一个最优表征是对最有效标准的量化。研究生为深度网络学习的表征建立信息论基础。第四个特性是优化。训练神经网络的经典方法是通过反向传播技巧正则化损失，这是一种神经网络专用的梯度下降方法。