CS231n-数据驱动，KNN和线性分类

实现KNN的作业代码

https://gitee.com/hubertsing/CS231n2020/tree/master

CIFAR10数据集

• 10个类别，共5w张数据图，和1w个测试图，每个图像32*32个像素，每个像素3个彩色通道。

---

驱动数据的方法（比深度学习，CNN更广泛）：用质量高的数据集驱动

• Nearest Neighbor Classifier 最近邻分类器:

训练函数：接收图片和标签输出模型

def train(images,labels):
  #Machine learing
  return model

预测函数：接收一个模型进行预测

def predict(model,test_images):
  #Use model to predict labels
  return test_labels

• 曼哈顿距离L1
  像素矩阵对应相减再求和，所以训练复杂度为O(1)，预测复杂度为O（N）

• 欧式距离L2
  平方和的平方根

• K-Nearest Neighbor Classifier K最近邻分类器:
  K越大越平滑

---

hyperparameters超参数：无法从训练数据中获得的参数

超参数的设置：

1. 不能以训练数据的拟合结果最优为目的，因为K=1时训练数据总是性能最优，而K＞1时往往对于未知数据集性能更好。
2. 不能用训练集训练出多个超参数，使预测集性能最优。因为这样很可能我们得到的只是让这个预测集数据最优的超参数。我们希望的是能在未知的数据集上都能表现最优。
3. 推荐做法：
   • 将数据集分3类，分别是训练集（大部分），验证集，测试集。用多组超参数在训练集上训练，然后选择在验证集上表现最好的，最后用测试集评估算法。必须分隔验证集与测试集。
   • 交叉验证（小数据集，非深度学习中使用）：5份folder一份测试集，每个folder每次都只用其中一个作为验证集，剩下的作为训练集。

不足：

• 无法对平移遮挡和滤镜表现良好性能（L2距离可能不变），不适合image领域
• 维度灾难：需要指数倍增加数据来填充高维度的图片空间，使L1距离尽可能小。

---

线性分类

线性分类器是神经网络的组件
猫->f(x,W)->每个类别的相似度分数
x为输入数据，W为通过训练集训练出的权重矩阵参数（此时不再需要训练集）
f(x,W)=Wx+b，W为10*（32*32*3），x为（32*32*3）*1的矩阵，，b为10*1的偏置项（由于数据集的不均匀），输出10*1的列向量分数。W的每一行都是一个类别的模板图像，所以就会造成一个问题，线性分类器为每个类别只配备了一个模板图像，而神经网络图像不会只配备一个。

---

图像分类的难点：semantic gap
计算机视觉两个观点：具体图像的观察和平面图形的高维度

---

[1,2]的shape值(2,)，意思是一维数组，数组中有2个元素。

[[1],[2]]的shape值是(2,1)，意思是一个二维数组，每行有1个元素。

[[1,2]]的shape值是（1，2），意思是一个二维数组，每行有2个元素。

• numpy函数说明文档：https://numpy.org/doc/stable/

• jupyter notebook使用说明：https://blog.csdn.net/weixin_43135165/article/details/88429081

• %matplotlib inline的作用：https://www.jianshu.com/p/2dda5bb8ce7d

• 代码参考https://blog.csdn.net/red_stone1/article/details/79238866
  https://www.freesion.com/article/511039815/