深度学习的一些基础概念

这些概念根据之前博客给出的笔记进一步整理归纳

图像分类篇

最邻近分类器

最邻近分类器，即 Nearest Neighbor 分类器，其实这个分类器跟卷积神经网络没有任何关系，实际中也极少使用。
原理：Nearnest Neighbor 算法将会拿着测试图片和训练集中每一张图片去比较，然后将它认为最相似的那个训练集图片的标签赋给这张测试图片。
比较两张图片的时候，会用到两种距离的计算：

• L1距离： $d_{1} (I_{1}, I_{2}) = \sum_{p} |I_{1}^{p} - I_{2}^{p}|$
• L2距离：$d_{1} (I_{1}, I_{2}) = \sqrt{\sum_{p} {|I_{1}^{p} - I_{2}^{p}|}^{2}}$

KNN 分类器

原理：找最相近的k个图片的标签，然后让他们针对测试图片进行投票，最后把票数最高的标签作为测试图片的预测
效果：从直观感受上可以看到，更高的k值可以让分类的效果更平滑，使得分类器对于异常值更有抵抗力。
当k = 1时，KNN分类器就是最邻近分类器

训练集：用来训练分类器的数据集合
验证集：从训练集中取出一部分数据用来调优，将其称之为验证集（validation set）

交叉验证：有时候训练集数量较小时，人们会使用交叉验证。举个例子，将训练集平均分成5份，其中4份用来训练，1份用来验证。然后我们循环取其中4份来训练，其中一份来验证，最后去所有5次验证结果的平均值作为算法验证结果。

这里是5份交叉验证对k值调优。（横轴表示k值，纵轴表示准确率）针对每个k值，得到5个准确率结果，然后取其平均值，然后对不同k值的平均表现进行画线连接。然后取准确率最高的k值，即k = 7。

分类器的缺点：

• 分类器必须记住所有训练数据并将其存储起来，以便于未来测试数据用于比较。这在存储空间上是低效的，数据集的大小很容易就以GB计。
• 对一个测试图像进行分类，需要和所有训练图像做比较，算法计算资源耗费高。

线性分类篇

我们经常说图像是X维的，那这个维是怎么算的？用一个具体的例子来讲，假设有一个图像训练集$x_{i}\in R^{D}$，每个图像都有一个对应的分类标签$y_{i}$。我们有N个图像样例，每个图像的维度是D，共有K种不同的分类。

对于 CIFAR-10：
训练集有N = 50000个图像样例，每个图像有D = 32 * 32 * 3 = 3072个像素，而K = 10。原始图像像素到分类分值的映射为函数$f: R^{D} \to R^{K}$

最简单的线性映射为：
$f(x_{i}, W, b) = Wx_{i} + b$

• 权重W：矩阵W的大小为[k * D]，由数据训练得到
• 偏差b：b为大小为[k * 1]大小的列向量，由数据训练得到
• 输入