Image classification notes

source: http://cs231n.github.io/classification/

图像表示
图片在计算机里是RGB三通道像素值，0是黑，255是白

计算机视觉任务的挑战：
Viewpoint variation 角度变化
Scale variation 尺度变化
Deformation 物体变形
Occlusion 只能看到物体的一部分，遮挡
Illumination conditions 光照
Background clutter 背景混乱，跟背景混合在一起不好区分
Intra-class variation 同类中不同个体差异大

CIFAR-10
32x32x3，50000训练集，10000测试集，10类

NN / kNN
训练过程就是记住所有样本，测试时逐一计算距离取k个最近的投票

优点 simple to implement and understand，takes no time to train，适用于特征维度较低，高维时的距离度量未必是语义、感知层面距离的度量，比如背景颜色对图像的相似性有很大的影响
缺点 测试时仍需占用空间；测试时计算量大

distance：L1、L2、Lp，距离度量的选择是超参数
k是超参数，较大的k起到平滑效果，减小outlier影响，泛化性好

超参数tuning
验证集 10%-50%，depends on multiple factors: For example if the number of hyperparameters is large you may prefer to use bigger validation splits. If the number of examples in the validation set is small (perhaps only a few hundred or so), it is safer to use cross-validation. 一般会用 3-fold, 5-fold or 10-fold 交叉验证.

n-fold交叉验证（计算量大）