CS231n学习笔记

线性分类器与损失函数

上一节课讲的是有关于图像分类的问题，并介绍可KNN算法，这一节课中讲的是更强大的算法用来解决图像分类问题。线性分类器由两部分组成，一个是评分函数用来表示将图像数据映射到类别分数。比如有猫狗车三类，通过简单的SVM可以得到三类的分数，然后选择较高的一项。 还有一部分是损失函数，得到分类标签与真实标签是否一致性的分数，有多种计算方法，损失函数也是非常重要的，可以转化为一个最优化问题。

在线性分类函数中，权重W和偏置b都是可以控制改变的，我们一般随机取权重W，并且一般都很小，以至于评分都为0（此时还可以拿来预估损失值，若与真实得到的偏差较大，可能哪里出错），然后我们可以通过训练数据来学习到参数w,b。

损失函数还有正则化的应用。可以通过正则化惩罚来抑制大数值的权重。 我们可以通过调节（浪大）的值，将该值减小则是减小了惩罚增加了其拟合能力，相反的增大则提升其泛化能力。其中的超参数的设置其实没有意义，如我上面讲的，我们主要通过调节（浪大）的值

反向传播

在不同分支的梯度在回传时要相加。 损失函数应该考虑分类正确的情况和分类错误的情况。 矩阵相乘的梯度是比较有难度得，我们可以从矩阵的shape来解决。梯度的大小肯定是跟权重W的矩阵大小相同。所以我们可以从矩阵乘法入手，来让维度对上。

神经网络

激活函数优缺点
sigmoid和tanh函数的共同缺点：梯度依旧可能饱和，这样梯度就无法在网络中传播的。饱和指得就是在接近-1,1时的梯度接近于0。 sigmoid函数缺点二，由于它得出的数据都在