SVM学习笔记（二）----手写数字识别

引言

上一篇博客整理了一下SVM分类算法的基本理论问题，它分类的基本思想是利用最大间隔进行分类，处理非线性问题是通过核函数将特征向量映射到高维空间，从而变成线性可分的，但是运算却是在低维空间运行的。考虑到数据中可能存在噪音，还引入了松弛变量。
理论是抽象的，问题是具体的。站在岸上学不会游泳，光看着梨子不可能知道梨子的滋味。本篇博客就是用SVM分类算法解决一个经典的机器学习问题–手写数字识别。体会一下SVM算法的具体过程，理理它的一般性的思路。

问题的提出

人类视觉系统是世界上众多的奇迹之一。看看下面的手写数字序列：

大多数人毫不费力就能够认出这些数字为504192。如果尝试让计算机程序来识别诸如上面的数字，就会明显感受到视觉模式识别的困难。关于我们识别形状——–“9顶上有一个圈，右下方则是一条竖线”这样的简单直觉，实际上算法很难轻易表达出来。

SVM分类算法以另一个角度来考虑问题。其思路是获取大量的手写数字，常称作训练样本，然后开发出一个可以从这些训练样本中进行学习的系统。换言之，SVM使用样本来自动推断出识别手写数字的规则。随着样本数量的增加，算法可以学到更多关于手写数字的知识，这样就能够提升自身的准确性。
本文采用的数据集就是著名的“MNIST数据集”。这个数据集有60000个训练样本数据集和10000个测试用例。直接调用scikit-learn库中的SVM，使用默认的参数，1000张手写数字图片，判断准确的图片就高达9435张。

SVM的算法过程

通常，对于分类问题。我们会将数据集分成三部分，训练集、测试集、交叉验证集。用训练集训练生成模型，用测试集和交叉验证集进行验证模型的准确性。
加载数据的代码如下：

"""
mnist_loader
~~~~~~~~~~~~
一个加载模式识别图片数据的库。
"""

#### Libraries
# Standard library
import