线性分类——fisher判别

线性分类——fisher判别

目的：

分离两类已知样本集

方法：

该两类样本集可能线性不可分，在x1,x2…等坐标轴上的投影也可能十分混杂，但是，我们可以试想：是否存在某一线性函数，使得该两类样本集中的样本在该线性函数上的投影可分？对于某些特定分布的样本，这样的想法是合理并且可行的。

求解思路：

对投影后的样本，我们做如下要求：

类间： 参与分类的两类样本集的均值差的绝对值要大

通俗的说，两类样本集要离的非常远。（类间离散度越大越好）

类内： 本类样本集的方差要小

通俗的说，同一类样本集要分布的足够紧凑。（类内离散度越小越好）

求解具体过程：

定义：

投影前样本的均值为：
$$m_i=\frac{1}{n}\sum X$$
投影后样本的均值为：
$$m^{\ast }=\frac{1}{n}\sum W^{T}X=W^T\ast m_i$$
类间离散度：
$$S_{12}^{\ast }=(m_1^{\ast }-m_2^{\ast })(m_1^{\ast }-m_2^{\ast }{)}^T$$
类内离散度：
$$S_i^{\ast }=\sum (W^{T}X-m_i^{\ast }{)}^2$$
代价函数：
$$J(W)=\frac{S_{12}^{\ast }}{(S_1^{\ast }+S_2^{\ast })}$$

目标：

求一个向量$ W $,使得代价函数$ J $取最大值

求解过程略（可采用梯度下降法或拉格朗日乘子法）

求得的向量$W$为：
$$W=S_w^{-1}(m_1-m_2)$$
其中，$S_w$为：
$$S_w=\sum (X-m_1)(X-m_1{)}^T+\sum (X-m_2)(X-m_2{)}^T$$
当且仅当$S_w$可逆（也可以采用伪逆矩阵）

此时解得$W$。

答案：

$W$为使得样本的投影在类间最分散，类内最集中地最优解。

$W$将n维样本降维至一维。

对未知样本进行预测：

已知某一样本$x_1$，则
$$\{\begin{array}{c}if{W}^{T}X+b_0>0x_1\in X_1\\ if{W}^{T}X+b_0<0x_1\in X_2\end{array}$$
其中，$b_0$为
$$b_0=-W^T\frac{m_1+m_2}{2}$$