massive_jiang的博客

再对数据进行相应的处理，继续传下去，直到输出层；反向传播是从后往前传播的，从output层到input层的方向：目标函数（对应的损失函数）对某权重or某偏置（即神经网络中可训练的参数）。

即便是x=0时，取其导数的最大值，依旧只有1/4，因此如果将sigmoid作为中间层的激活函数，在利用链式法则反向求导的过程中，很容易。表示，这其实就是一个线性表达，即便模型有无数的隐藏层，简化后依旧是上述的线性表达式，那么模型的拟合能力非常受限。梯度是根据链式法则，从后往前反向计算的。的时候，知道函数在某一点的导数其实就是在该点切线的斜率，反应了函数在该点的变化方向以及变化速率，注意这个方向其实是。Relu函数是一个分段函数，其每一段都是线性的，但由于分段使其在全局内是非线性的，音系Relu是一个。