CNN线性分类器、损失函数

https://blog.csdn.net/zhili8866/article/details/53317127
https://blog.csdn.net/shanwenkang/article/details/86634714
https://blog.csdn.net/weixin_42137700/article/details/86756365
分类时只需要做一个矩阵乘法和一个矩阵加法就能对一个测试数据分类。
或将线性分类器看做模板匹配：关于权重W的另一个解释是它的每一行对应着一个分类的模板。一张图像对应不同分类的得分，是通过使用内积（也叫点积）来比较图像和模板，然后找到和哪个模板最相似。
图像数据预处理：零均值的中心化，优点是为了在反向传播中加快网络中每一层权重参数的收敛
详解参见https://blog.csdn.net/mooneve/article/details/81943904（让样本数据正负数差不多）
mean_image = np.mean(x_train, axis=0) # 求出所有图片每个像素位置上的平均值
x_train -= mean_image # 减去均值图像，实现零均值化

#归一化处理 [-1.0,1.0]
image = (image / 255.0) * 2.0 - 1.0

SVM的损失函数想要正确分类类别
的分数比不正确类别分数高，而且至少要高 。如果不满足这点，就开始计算损失值。

引入正则化惩罚最好的性质就是对大数值权重进行惩罚，可以提升其泛化能力，避免过拟合。因为这就意味着没有哪个维度能够独自对于整体分值有过大的影响。
SVM分类器中，我们得到的类别得分，大小顺序表示着所属类别的排序，但是得分的绝对值大小并没有特别明显的物理含义。而Softmax(归一化的分类概率)分类器中，结果的绝对值大小表征属于该类别的概率，且所有输出的和为1。

交叉熵损失（cross-entropy loss）好处是简化网络训练过程，其对第 i 层的输出值Zi的偏导 = Yi^ - Yi
, 便于后向传递的计算。

迁移学习中的减少Covariate Shift
中文 https://blog.csdn.net/mao_xiao_feng/article/details/54317852
英文 http://arxiv.org/pdf/1502.03167v3.pdf

什么是迁移学习？
https://www.zhihu.com/question/345745588
http://transferlearning.xyz/