iam_zhanghongliang的博客

深度神经网络反向传播公式推导 反向传播推到 上边连接推到的很详细。

和传统回归方法的比较： 回归思路基本沿袭传统方法（思路大体和LBF差不多），都是通过级联的方式，但是也有明显不同于传统的方法，1，在初值选取方面，传统方法是通过归一化后取平均形状作为初值（回归依赖于初值的选取，有时会陷入局部最小值），该方法是通过网络的方法，得到初值的粗略估计（该方法的粗略估计效果并不好，没有传统网络的方法好，原因可能是没有利用全局信息，但是相对于传统的方法效果要好，可通过对比发现...

在学习深度学习的过程中，激起了亲手编写网络的欲望，由于自己的水平所限，只能从简单的网络做起， 下边是我编写的简单网络，mnist数据集的图片大小是28*28*1，我就设计了两个卷积层，3*3的卷积核，步长为2，一个步长为2的2*2的最大池化层，这些整完后，我发现网络的输出的长宽大小是4*4，于是就在后边接了两层的全连接，两层全连接中间使用dropout，防止过拟合；损失函数采用平方损失，优化器是选 用随机梯度下降优化（0.1），这样简易的小网络就写出来了。