学习笔记——A novel hybrid CNN–SVM classifier for recognizing handwritten digits

        文章主要研究对SVM和CNN的融合，用SVM分类器替换了CNN模型的最后一个输出层，在常规CNN模型中，这层输出对预测样本的预测概率，其公式为F=g(WX+b)（g为激活函数）。X为最后一层隐藏层的输出，在常规的训练中，一般认为这种输出是无意义的，但本文作者认为该输出是一种能够作为分类器输入的特征。因此，该论文尝试使用SVM代替原始F对输出进行决策。

        首先介绍下这篇文章使用的CNN结构，作者没有特意设计网络而是只做了两次特征提取，从给出的变换公式来看，使用了5*5的karnel，步长为2，padding为1，在两层特征图层后是一个含有一个隐藏层和一个输出层的mlp（后文被SVM替代的就是这个）。

        在文章2.3中，有一处很有意思的地方，作者没有直接使用融合模型进行训练，而是先使用上上文所说的原始CNN模型进行训练直到训练收敛，然后再更换SVM进行训练，我猜测这是某种对参数预调节的策略。同时，他们还尝试了不同的深度（原文The numbers N1, N2, and N3 of different layers），并从效率和精度之间找到了平衡点。

        在文章2.4部分，作者解释了该结构的意义，简单来讲，一方面SVM较于MLP提升了泛化能力，能够跳出局部最小值而获得全局最小值。另一方面，SVM具更好的实用性，MLP倾向于将最大项向1靠拢而其他项向-1靠拢（这里不太理解，应该是某种标准化），但SVM将输出每个值的估计概率，可以提供一个概率的排名而找出内在缺陷。（就是说MLP只挑出最高的，SVM给出排名）

        最值得关注的部分，作者将CNN分类器与手动设计的提取方法进行了对比，但主要是从拓扑结构和空间不变性进行分析，但从另一方面，这篇文章也代表了MLP的全连接方法不是唯一的识别策略，同时我们也注意到“the trainable features of CNN can be used instead of the hand-designed features to collect more representative and relevant information”，也证明了CNN的输出和传统方法获得的特征信息具有共性，是不是代表着我们可以用传统方法彻底代替掉CNN的特征提取部分呢？这种情况下还能进行反向传播吗？如果HOG+SVM的方法逐渐落后，那么更换分类器或传统算法是不是也能起到作用呢？