斯坦福深度学习与机器视觉课程cs231n,感觉挺不错的,顺便记下来一些零碎的点,不过具体内容还是要参考笔记、视频。不过网易云课堂的视频还是有些问题的。
研究历史
一开始是对猫的视觉进行研究,发现有如下神奇的特点:
- 对于整个图像,猫的视觉基础神经元没有被激活。
- 在切换图像时,神经元被激活。
因此研究人员认为神经元对简单形状、边缘有反应。
David Marr提出视觉是分层的。
90年代感知分组,将图像分为不同区域。
1999,SIFT特征,图像识别、匹配。
2001,Face Detection,没有进行3D建模。
数据集:
- PASCAL 20类
- IMAGENET 22K类,14M图
2011年及之前图像分类识别基本靠SIFT+SVM。
其竞赛2012年出现CNN,AlexNet,7层layer夺得冠军。
之后2014:GoogleNet,VGG;2015:MSRA深度残差,均基于CNN。
kNN分类器
两图像距离的定义。
- L1距离:像素间绝对值再求和
- L2距离:像素间差的平方求和再开方
超参数:无法在训练中优化,如距离定义、k值。
采用单一验证、交叉验证方法。
kNN流程:
- 计算已知类别数据中图像(train set)与需要预测点图像(test set)距离;
- 按照距离依次排序;
- 选取与需要预测图像距离最小的前k个;
- 确定前k个中每种类别出现的次数;
- 将出现次数最多的类别作为预测类别。
损失
SVM损失
公式:
j≠yi
是指对于第
i
类,只对其他类进行求和运算;
syi
是本类的得分结果;
Δ
是常数,一般取1。
这是某一类的损失,总损失可以求平均。
image | cat score | car score | frog score | losses |
---|---|---|---|---|
CAT | 3.2 | 5.1 | -1.7 | 2.9 |
CAR | 1.3 | 4.9 | 2.0 | 0 |
FROG | 2.2 | 2.5 | -3.1 | 10.9 |
正则化
正则化项避免过拟合,考虑更多输入。
- L1正则:w权重绝对值之和
- L2正则:w权重平方和
Softmax损失
公式:
计算过程:
item | cat | car | frog |
---|---|---|---|
score | 3.2 | 5.1 | -1.7 |
exp | 24.5 | 164.0 | 0.18 |
normalize | 0.13 | 0.87 | 0 |
Lcat=−log(0.13)=0.89
当初始时(w很小),L=-log(1/N)=log(N)。
CS231n Convolutional Neural Networks for Visual Recognition
CS231n官方笔记授权翻译总集篇发布
斯坦福CS231n—深度学习与计算机视觉