cs231 学习笔记（一）

First Classifier: Nearest Neighbor

训练过程就是记录所有的数据点，在预测阶段对每一条记录（一个图像）与原有数据集进行比较，得出与之最相近的一条记录，其label就是最后的预测值。通常使用的 Distance Metric 来比较图像：

L1依赖于坐标系，当坐标轴转动时L1值随之改变，而L2不会。

KNN

选择K个最近的邻居，随着K的值越大，你的决策边界也会越来越光滑，降噪提高robust

Cross Validation 在数据集比较小时非常有用，但是在deep learning 里不太适用，因为deep learning 通常需要很大