人工智能大作业

项目github地址链接

人工智能大作业——讨论手写数字识别的几种实现方法

一、实验目的

用多种机器学习方法实现手写数字识别，并比较不同。

二、实验环境

2.1 Python 3.7.6

2.2 Anaconda Spyder IDE

三、实验原理

3.1 线性判别(fisher判别)¹

给定训练样本集，设法将样例投影到一条直线上，是的同类样例的投影点尽可能接近、异类样例的投影点尽可能远离；在对新样本进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定新样本的类别。

给定数据集 D = { ( x i , y i ) } i = 1 m , y i ∈ { 0 , 1 } D=\{(\boldsymbol x_i,y_i)\}_{i=1}^m,y_i \in \{0,1\} D={ (xi​,yi​)}i=1m​,yi​∈{ 0,1}，令$X_i$、${\mathbf{\mu }}_i$、${\mathbf{\Sigma }}_i$分别表示第 i ∈ { 0 , 1 } i \in \{0,1\} i∈{ 0,1}类示例的集合、均值向量、协方差矩阵。若将数据投影到直线$\mathbf{w}$上，则两类样本的中心在直线上的投影分别为${\mathbf{w}}^T{\mu }_0$和${\mathbf{w}}^T{\mu }_1$；若将所有样本点都投影到直线上，则两类样本的协方差分布为${\mathbf{w}}^T{\mathbf{\Sigma }}_0\mathbf{w}$和${\mathbf{w}}^T{\mathbf{\Sigma }}_1\mathbf{w}$。

欲使同类样例的投影尽可能接近，可以让同类样例投影点的协方差尽可能小，即${\mathbf{w}}^T{\mathbf{\Sigma }}_0\mathbf{w}+{\mathbf{w}}^T{\mathbf{\Sigma }}_1\mathbf{w}$尽可能小；而欲使异类样例的投影点尽可能远离，可以让类中心之间的距离尽可能大，即$\Vert {\mathbf{w}}^T{\mathbf{\mu }}_0-{\mathbf{w}}^T{\mathbf{\mu }}_1{\Vert }_2^2$尽可能大。同时考虑二者，则可得到最大化目标
$$\begin{array}{rl}& \\ J& =\frac{\Vert {\mathbf{w}}^T{\mathbf{\mu }}_0-{\mathbf{w}}^T{\mathbf{\mu }}_1{\Vert }_2^2}{{\mathbf{w}}^T{\mathbf{\Sigma }}_0\mathbf{w}+{\mathbf{w}}^T{\mathbf{\Sigma }}_1\mathbf{w}}\\ & =\frac{{\mathbf{w}}^T({\mathbf{\mu }}_0-{\mathbf{\mu }}_1)({\mathbf{\mu }}_0-{\mathbf{\mu }}_1{)}^T\mathbf{w}}{{\mathbf{w}}^T({\mathbf{\Sigma }}_0+{\mathbf{\Sigma }}_1)\mathbf{w}}.\end{array}\text{\hspace{1em}(1)}$$
定义“类内散度矩阵”
$$\begin{array}{rl}{S}_{\mathbf{w}}& ={\mathbf{\Sigma }}_0+{\mathbf{\Sigma }}_1\\ & =\sum _{\mathbf{x}\in X_0}(\mathbf{x}-{\mathbf{\mu }}_0)(\mathbf{x}-{\mathbf{\mu }}_0{)}^T+\sum _{\mathbf{x}\in X_1}(\mathbf{x}-{\mathbf{\mu }}_1)(\mathbf{x}-{\mathbf{\mu }}^{}\end{array}$$