cs231n学习笔记——四.Introduction to Neural Networks 神经网络

4.1 BP，Back Propagation 反向传播

嘛，照例跳过复习，开篇承接上节课，我们需要用解析梯度寻找权重矩阵的最优解，同时需要数值梯度验证，为了保证我们的解析式没算错，新的TA小姐姐给了一种叫计算图的方法

将计算过程拆解成计算图是为了之后的反向传播做准备的，举例说明，通过前向计算获得中间值和结果，再根据根据链式法则，反向调整权重参数

链式法则：是微积分中的求导法则，用于求一个复合函数的导数，是在微积分的求导运算中一种常用的方法。复合函数的导数将是构成复合这有限个函数在相应点的 导数的乘积，就像锁链一样一环套一环，故称链式法则。——百度百科

然后以一个网络节点的形式展示的话，就是这样

然后又举了个例子，因为太长了，就把sigmoid函数部分的贴一下吧，这东西作为最常用的几种激活函数，还是第一次给拆成这样看反传

嘛刚才这些都是对于一维标量而言，但是图像的输入往往是多维数据，所以就要引入雅可比矩阵

雅克比矩阵：在向量微积分中，雅可比矩阵是一阶偏导数以一定方式排列成的矩阵，其行列式称为雅可比行列式。雅可比矩阵的重要性在于它体现了一个可微方程与给出点的最优线性逼近。因此，雅可比矩阵类似于多元函数的导数。——百度百科

可以理解为一个多元函数的导数，当然因为多元所以肯定不是一个数，是矩阵形式

拿一个L2范式函数作为例子

上一步算到最终值0.116，然后BP计算回去，最终的输出梯度是1，那么回退一个节点，右下角是求导。下一步则再回退一个节点

两次回退就算完了，还好写代码不用手算2333，调API就好

然后用caffee的sigmoid代码举例子

又到了喜闻乐见的总结部分，主要是对BP做了个总结

4.2 Neural Networks 神经网络

嘛两层神经网络相当于两层函数的堆叠，深层网络就是复杂的嵌套函数，这么一讲神经网络还真是没啥新意呢

然后给了个20行代码训练两层神经网络

然后讲了讲神经网络为啥叫神经网络，它的与生物学特征的相似性，生物神经元突触的信号传递就和神经网络中的激活函数相似

所以还是脑子牛皮啊，当然我脑子不行

然后给出一个常见的多层网络连接结构示意图

给出一个神经网络节点的代码示例

总结~下课！