source: http://cs231n.github.io/classification/
图像表示
图片在计算机里是RGB三通道像素值,0是黑,255是白
计算机视觉任务的挑战:
Viewpoint variation 角度变化
Scale variation 尺度变化
Deformation 物体变形
Occlusion 只能看到物体的一部分,遮挡
Illumination conditions 光照
Background clutter 背景混乱,跟背景混合在一起不好区分
Intra-class variation 同类中不同个体差异大
CIFAR-10
32x32x3,50000训练集,10000测试集,10类
NN / kNN
训练过程就是记住所有样本,测试时逐一计算距离取k个最近的投票
优点 simple to implement and understand,takes no time to train,适用于特征维度较低,高维时的距离度量未必是语义、感知层面距离的度量,比如背景颜色对图像的相似性有很大的影响
缺点 测试时仍需占用空间;测试时计算量大
distance:L1、L2、Lp,距离度量的选择是超参数
k是超参数,较大的k起到平滑效果,减小outlier影响,泛化性好
超参数tuning
验证集 10%-50%,depends on multiple factors: For example if the number of hyperparameters is large you may prefer to use bigger validation splits. If the number of examples in the validation set is small (perhaps only a few hundred or so), it is safer to use cross-validation. 一般会用 3-fold, 5-fold or 10-fold 交叉验证.
n-fold交叉验证(计算量大)