cs231n笔记1

斯坦福深度学习与机器视觉课程cs231n，感觉挺不错的，顺便记下来一些零碎的点，不过具体内容还是要参考笔记、视频。不过网易云课堂的视频还是有些问题的。

---

研究历史

---

一开始是对猫的视觉进行研究，发现有如下神奇的特点：

• 对于整个图像，猫的视觉基础神经元没有被激活。
• 在切换图像时，神经元被激活。

因此研究人员认为神经元对简单形状、边缘有反应。

David Marr提出视觉是分层的。

90年代感知分组，将图像分为不同区域。
1999，SIFT特征，图像识别、匹配。
2001，Face Detection，没有进行3D建模。

数据集：

• PASCAL 20类
• IMAGENET 22K类，14M图

2011年及之前图像分类识别基本靠SIFT+SVM。
其竞赛2012年出现CNN，AlexNet，7层layer夺得冠军。
之后2014：GoogleNet，VGG；2015：MSRA深度残差，均基于CNN。

kNN分类器

两图像距离的定义。

• L1距离：像素间绝对值再求和
• L2距离：像素间差的平方求和再开方

超参数：无法在训练中优化，如距离定义、k值。
采用单一验证、交叉验证方法。

kNN流程：

1. 计算已知类别数据中图像（train set）与需要预测点图像（test set）距离；
2. 按照距离依次排序；
3. 选取与需要预测图像距离最小的前k个；
4. 确定前k个中每种类别出现的次数；
5. 将出现次数最多的类别作为预测类别。

损失

---

SVM损失

公式：

$j\neq y_i$是指对于第$i$类，只对其他类进行求和运算；
$s_j$是第j类得分结果；
$s_{y_i}$是本类的得分结果；
$\Delta$是常数，一般取1。
这是某一类的损失，总损失可以求平均。

image	cat score	car score	frog score	losses
CAT	3.2	5.1	-1.7	2.9
CAR	1.3	4.9	2.0	0
FROG	2.2	2.5	-3.1	10.9

正则化

---

正则化项避免过拟合，考虑更多输入。

• L1正则：w权重绝对值之和
• L2正则：w权重平方和

Softmax损失

公式：


计算过程：

item	cat	car	frog
score	3.2	5.1	-1.7
exp	24.5	164.0	0.18
normalize	0.13	0.87	0

$L_{cat}=-log(0.13)=0.89$
当初始时（w很小），L=-log(1/N)=log(N)。

CS231n Convolutional Neural Networks for Visual Recognition
CS231n官方笔记授权翻译总集篇发布
斯坦福CS231n—深度学习与计算机视觉