cs231n（4）

第四讲：神经网络与反向传播
回顾：线性分类器、Hinge Loss铰链损失函数、Cross Entropy交叉熵损失函数、Softmax、梯度下降
构造损失函数之后，我们便有了优化的目标：通过梯度下降方法调整每个参数，使得损失函数最小化。
但模型本身依旧存在问题，“直男”线性分类器只能产生线性决策边界，无法解决非线性分类问题。通过引入神经元细胞的非线性激活函数，可以将线性分类器升级为神经元，将神经元多层堆叠，便得到了强大的神经网络。
如何调整神经网络的权重呢？方法仍旧是求出损失函数对于每个参数的梯度（偏导数），通过复合函数求导的链式法则层层抽丝剥茧，然后按梯度的反方向更新权重，这就是反向传播算法。
本讲课程还会通过代码和交互式网页体会多层神经网络反向传播的训练过程。