FPGA视觉从入门到放弃——小波矩与支持向量机刷MNIST

小波矩是FPGA板已有的模块，而深度学习框架下的MNIST的测试准确率可轻松地到99%以上。这里得到的效果不足以超越后者，由于内部影响依然做了该实验。所以，这些时间只够买个教训~ 如下图所示：

1. 单分类器

(1) 自定义 数据集

已有方法的分类是每俩类比较1回，这样的分类器针对的数据不完备，修改后准确率大跌。

方法\类别	飞机	汽车	人	平均
已有方法	84.55	98.37	78.86	87.26
未降维	86.18	98.37	84.55	89.70
降维	91.87	100.00	94.31	95.39
降维集成	89.43	97.56	94.31	93.77
提取边缘	68.29	67.48	79.67	71.81

(2) MNIST 数据集

这里以数字$1,3,6,8$的小波矩特征为例。其中，横轴为特征的索引，纵轴为具体某个特征值。

支持向量机用于2分类问题：假设要识别数字$1$，那么训练样本中数字$1$的标签为1，而其余数字的标签为-1。所以正样本数目只有负样本的$\frac {1}{9}$。对每类数字分类器，训练样本中采样正样本4500个，则采样每个数的负样本500个；测试样本为自带的测试样本。稀疏编码后重建数字$0$~$9$的特征。

重建后有些特征值波动很小，区分性很小，所以选择方差较大的特征。此处给出归一化后的方差变化较大的3个特征，看起来分类好像有戏的样子(其实重叠的点也不少)~

重建后的样本送入采用RBF核的支持向量机得到每个数字的分类器。每个数字的支持向量机可以对自己的类别作二分类判断。

准确率\类别	0	1	2	3	4	5	6	7	8	9	平均
错误	90.20	88.65	89.68	89.90	90.18	91.08	90.42	89.72	90.26	89.91	90.00
正确	99.16	99.34	92.01	93.89	95.23	93.86	95.52	95.89	96.13	95.25	95.63

如果不随机采样，训练时负样本太多会导致支持向量机测试时分类结果全为-1，如同上面错误行的结果。单分类器的正确率一般，与往年1的效果相比，手动设计特征的劣势就体现出来了~

2. 多分类器

假设数字$0$~$9$的分类结果同时为$-1$，那么这时输出结果是几？

这就是不同目标的分类器间的集成问题。理想的解决方法应该与集成学习不太一样，因为集成学习主要指多个分类器针对同一目标共同决策的方法。

按照集成学习的思路往下走，每个数字的支持向量机的输出为概率形式，但它并不能够直接使用，需计算其后验概率。已知每个训练样本的后验概率和类别标签(0~9)，用多元线性回归拟合。

(1) 自定义 数据集

标签为1对应飞机，说明飞机的训练数据和测试数据的差异较大，或者训练和测试数据的分布差不多，但小波矩提取飞机的特征不明显。

(2) MNIST 数据集

直接用多元线性回归把后验概率的多类分类问题转换为回归问题。实际上，后验概率的准确度取决于每个分类器的性能。若多分类问题中每个二分类问题划分的难度有差异，也可能影响子分类器的性能，比如测试集中的标签0和1的分类效果明显比其它数字好，但0和1数字分类器会削弱其它数字分类器的影响，而它俩与其它数字的分类一点关系没有。

换句话说，假设这个世界上只有3种职业：厨子，医生和警察。平时厨子烧得一手好菜；警察爱岗敬业功绩满满；但医生比较惨，医闹不断。他们的社会影响力由同1套规则度量。突然有1天新型病毒爆发，领导召集这3个职业的代表开会。最后，医生提出的方案由于社会影响力太小被否决。

MNIST和自己的训练数据的集成效果一般；MNIST测试数据的集成效果不好(准确率仅64.6%)，但自己的数据却可以接受。说明自己的训练和测试数据的区分度没有MNIST大，换句话说，自己数据的模型允许一些过拟合。所以，当幸运地碰到了简单的实际问题，且什么方法都浪得飞起时，还是要经过benchmark的考验来说服自己~ (╬￣皿￣)凸

另外，不同目标的分类器集成还是要看实际情况。这里的MNIST，若非要用比较弱的小波矩表示特征的话，暂且选择各分类器的后验概率的最大值吧~

---