cs231n学习笔记-第三课

1.损失函数(loss function):用于评价分类器表现，变量为预测值和实际值（判断预测结果）

multiclass svm loss function:

考虑第i张图片，xi为其像素值，yi为其标签，s为其分类结（是一个向量，），分别为分类结果对应第1~j类的值。

我们将所有的非目标类别的值与分别与目标类别的值做差，如果结果大于一定值（这里是-1），则意味着这个结果是需要改进的，就把他加入到损失函数中。

否则则是可以接受的，其损失为0。累加所有的这些损失，可以得到分类器对于这一张图片的总损失。

换句话说，如果syi的值要至少比非目标类别的值高出1（正确类别的分类结果要大于错误类别一定值，才认为是正确的分类），才认为这一类别的损失为0。

ps:hinge loss：max(0,f(x))             margin:1

损失函数的目的是给不同的错误类别以不同的权重系数（更关心什么样的错误），从而在优化分类器的过程中能够更好的去解决我们需要的问题。

2.正则化（Regularization）：约束可调参数的复杂程度，作为惩罚项（penalty）防止过拟合

正则化超参数（Regularization hyper-parameter）

L2正则化：各参数平方和（L2范数）

L1正则化：各参数绝对值之和（L1范数）

elastic net：L1,L2的线性组合

最大正则化：L0范数:统计零项和非零项的个数

dropout, batch normalization, stochastic depth...

3.softmax classifier(multinomial logistic regression)

将各个类别的值按概率密度重新分配，考虑类别与类别之间的相对大小关系。

4.优化 optimization

梯度：

numerical gradient: 可以用于测试，但不适于魔性训练

analytic gradient：微积分求导

梯度下降：让参数沿着梯度减小的方向进行迭代：weights += -step_size*weights_gradient

高级梯度下降：动量和Adam优化器

随机梯度下降：从全体样本中取出一小批计算梯度，作为整体梯度的估计值以减小运算量

5.特征

（1）颜色直方图 color histogram

（2）方向梯度特征，HoG特征

（3）词袋：Bag of words: 对图像进行小块的随机采样，然后用k-means进行聚类以获得类中心作为words