其实还是全连接的神经网络(玄学模型),也算是基础吧,但是这里的基础打好了对后面学习CNN的时候会有一点帮助。
快速简介
和之前提到的线性分类器里面 s=Wx s = W x 来进行计算不同视觉类别的评分不同,神经网络是 s=W2max(0,W1x) s = W 2 max ( 0 , W 1 x ) ,其中 W1 W 1 的作用是将图像转化为一个特定维度的过渡向量(这里过度向量具体含义是什么目前貌似没有解释,只能说引进这个 W1 W 1 产生这么个过渡向量然后对图像进行分类的方法行得通)。这里的关键地方其实是 max max 这个非线性函数,因为少了这个 max max 的话那么就会导致 W1 W 1 和 W2 W 2 其实是可以合并在一起的(直接进行矩阵相乘运算就可以合并了,所以非线性的 max max 才是神经网络和线性分类器的不同)。参数 W1、W2 W 1 、 W 2 后面会通过随机梯度下降来进行学习,梯度在反向传播过程中会通过链式法则来求导计算出。
如果是三层的神经网络的话就可以变成 s=W3