Kaggle digit-recognizer PCA+SVM

---

https://www.kaggle.com/c/digit-recognizer

---

参考https://www.kaggle.com/cyberzhg/digit-recognizer/sklearn-pca-svm/code

什么是PCA

• 主分析方法（PCA），是运用线性代数的知识，找到一个k维空间(k小于n, n为原来 样本的维度)让原来的样本投影到该空间后能保留最大的差异程度，具体表现为方差。

• 举个一个简单的例子就是，全班同学的成绩语文相差很大，从50到90分布，但是英语成绩大家都考到90多分，如果两个成绩都用同样的比重区分排名，那么英语的作用就不这么明显，而且需要考虑两科成绩。
  这时如果我新建一个新变量，对两科取不同权重，这样计算出来的新维度即能保留原来的特征，又能达到降维的效果。
  这只是帮助理解，具体实现应该有出入。

• 具体是先把样本写成矩阵形式，求出协方差矩阵（自己跟自己的转置相乘再除于样本数）。协方差有个特殊的性质就是，对角线上的元素代表元素的方差，其他位置的元素代表协方差，就是不同元素的相关程度。

• 这时我们需要构造一个向量，令到协方差矩阵只留下对角线上的元素，其他位置的为0，其物