CS231n笔记（5）神经网络（1）

其实还是全连接的神经网络（玄学模型），也算是基础吧，但是这里的基础打好了对后面学习CNN的时候会有一点帮助。

快速简介

和之前提到的线性分类器里面$s = Wx$来进行计算不同视觉类别的评分不同，神经网络是$s = W_2\max(0, W_1x)$，其中$W_1$的作用是将图像转化为一个特定维度的过渡向量（这里过度向量具体含义是什么目前貌似没有解释，只能说引进这个$W_1$产生这么个过渡向量然后对图像进行分类的方法行得通）。这里的关键地方其实是$\max$这个非线性函数，因为少了这个$\max$的话那么就会导致$W_1$和$W_2$其实是可以合并在一起的（直接进行矩阵相乘运算就可以合并了，所以非线性的$\max$才是神经网络和线性分类器的不同）。参数$W_1、W_2$后面会通过随机梯度下降来进行学习，梯度在反向传播过程中会通过链式法则来求导计算出。

如果是三层的神经网络的话就可以变成 s=W3