关于kaggle上的digit recognizer

学习machine learning，也就顺带捡了些kaggle上看似简单的题目来做做。

这个digit recognizer （下简称DR）就是识别0-9个数字（手写体）。网站上给出了42,000例子用于train，给出了28000用于test，每个图像都是由28×28（即784）个亮度值组成。

直接尝试用scikit-learn中的SVM，结果报出了memory error。

于是尝试做了一个PCA，将每幅图从原来由784个值来表示，缩减为了由50（也可以是其他值，我也不知道用什么标准来选择）个值来表示。再进行SVM，结果还是memory error。

在网上查了一下后，将原本的X_train由array转换成了scipy.sparse.csr_matrix后，就没有出现memory error了。因为正好图片中有很大一部分像素上的值都是0，仅在数字真正覆盖的区域有值，而且正好以上过程所涉及的函数、方法都可以使用scipy.sparse matrix。