UFLDL教程（一）---稀疏自编码器

神经网络模型

简单的神经网络

前向传播

代价函数

对于单个样例 ，其代价函数为：

给定一个包含m个样例的数据集，我们可以定义整体代价函数为：

以上公式中的第一项  是一个均方差项。第二项是一个规则化项（也叫权重衰减项），其目的是减小权重的幅度，防止过度拟合。

反向传播算法

反向传播算法，它是计算偏导数的一种有效方法。

批量梯度下降法

梯度检验

给定一个被认为能计算 的函数，我们可以用下面的数值检验公式

计算两端是否一样来检验函数是否正确。

自编码神经网络

总体代价函数