神经网络学习引入-图片预处理Preprocessing与损失函数

图片数据预处理 Image data preprocessing

样本：原始像素数据（随机选取于[0,255]）
在机器学习中：输入特征的规范化
(perform normalization of your input features)
在实际应用中：通过缩减每个特征的含义来中心化数据集具有重要意义
(It is important to center your data by subtracting the mean from every feature)

对于图像数据的预处理，它对应于计算训练图像上的平均图像，并从每个图像中减去它，以获得一个像素在[-127,127]之间的图像。

更普遍的预处理方法是缩放每个输入的特征使每个特征的值在[-1,1]之间。

损失函数

SVM损失函数（hinge loss）

SVM损失函数基于SVM想要得到这样一个结果：对于每一张图片，正确分类的得分远远高于其余分类。
也就是说，一个第i类的样本，我们得到它的像素矩阵，以及对应标签$y_i$。评分函数利用像素计算出分类的得分$f(x_i,W)$，下面我们用s表示这个得分。比如该图像在分类j上的得分$s_j=f(x_i,W{)}_j$。
SVM损失函数如下所示：
$L_i={\sum }_{j̸=y_i}max(0,s_j-s_{y_i}+\Delta )$
SVM 损失希望正确分类$y_i$的得分远大于不正确分类的得分，他们之间的差值至少大于$\Delta$。上式亦可写做：
L i = ∑ j ≠ y i m a x ( 0 , w j T x i − w y i T x i + Δ ) L_{i}=\sum_{j \neq y_{i}}max(0,w_{j}^{T}x_{i}-w_{y_{i}}^{T}x_{i}+\Delta) Li​=∑