关于cs231n中作业1的SVM和Softmax线性分类器实现的感悟

1、对于复杂的含有多Wi参数的函数L求导问题，首先是分别对单个参数求偏导数，然后放置到此参数对应的矩阵的位置。在求偏导数的矩阵表示时，一般要经历如下两个步骤：

数字计算：分解步骤，同时计算L和导数：一般情况下，L的计算分很多步，而且每一步也十分复杂，可能涉及到数值判定等。但是只要你将这些步骤分解成很多个小步骤（使用循环，只要你能表达清楚，电脑不怕计算多），在每一个小步骤里面同时计算这一小步骤中Li的值和L的导数。最后将所有的Li汇总起来组成L，所有的导数汇总起来组成L对这个分参数的分导数。

矩阵计算：对于比较复杂的情况，想直接写出导数dw的表达式有点困难。一般情况下，建议将复杂问题先简单化，对于简单的问题，我们可以先数字计算得到导数矩阵，然后得出这个导数矩阵可以怎么通过矩阵计算得到。最后类比至复杂矩阵就行。

2、跟KNN分类器不同，线性分类器对初始数据进行了均一化的预处理。

3、f = w.dot(x)+b，可将x增加一个全是1的特征，问题即可转化为f=w'.dot(x')，我们就只需要考虑w。

4、大数之间相除会导致数据稳定性问题，技巧为  logC=−maxjfj 

5、SGD：随机梯度下降     GD：梯度下降

SGD其实就是每次准备挪动一步时，都随机的从训练数据中抽取部分数据来计算梯度，并以得到的梯度来决定挪动的方向，相比GD每次都要计算所有的训练数据，省时省力，并且最终也可以走到最低点。还有一个好处就是SGD由于每次输入的训练数据都不同弄，因此可以很好的避免鞍点（局部导数为0）。

6、实际应用中，两种计算损失函数的方法的效果都差不多。