【模式识别】Fisher线性判别

Fisher是一种将高维空间映射到低维空间降维后进行分类的方法

1.投影:

对$\vec {x_n}$的分量作线性组合可得标量

$$y_n=\vec {w}^T\vec{x_n}$$

什么样的映射方法是好的，我们需要设计一个定量的标准去找$\vec{w}$来衡量分类的好坏，或者叫做准则函数。

2.基本参量

• 在d维X空间

  • 各类样本均值向量$\vec m_i$
    

    $$\vec {m_i}=\frac{1}{N_i}\sum_{\vec x \in \mathscr{X_i}} \vec x,i=1,2$$

  • 样本类内离散度矩阵$S_i$和总类内离散度矩阵$S_w$
    

    $$S_i=\sum_{x \in \mathscr{X_i}}(\vec{x}-\vec{m_i})(\vec{x}-\vec{m_i})^T,i=1,2$$
    ​

  • 样本类间离散度矩阵$S_b$
    

    $$S_b=(\vec{m_1}-\vec{m_2})(\vec{m_1}-\vec{m_2})^T$$
    ​

• 在一维空间

  • 各类样本均值$\overline{m_i}$
    

    $$\overline{m_i}=\frac{1}{N_i}\sum_{y \in \mathscr{Y_i}} y,i=1,2$$
    ​

  • 样本类内离散度$\overline{S_i^2}$和总类内离散度$\overline{S_w}$
    

    $$\overline {S_i^2}=\sum_{y \in \mathscr{Y_i}}(y-\overline {m_i})^2,i=1,2\\ \overline {S_w}=\overline {S_1}+\overline {S_2}$$
    ​

  ​

3.衡量标准:

1.我们希望两类均值之差尽量大

2.同时希望各类样本内部尽量密集

有了这个标准后我们可以得到准则函数:

$$J_F(\vec w)=\frac{\overline{m_1}-\overline{m_2}}{\overline{S_1^2}+\overline{S_2^2}}$$
4.解:

经过一系列推导之后得到

$$\vec{w^*}=S_w^{-1}(\vec{m_1}-\vec{m_2})$$
即为准则函数 $J_F(\vec w)$最大值时候的解

5.分类

• 1.当维数d和样本数N都很大时，可采用贝叶斯决策规则，从而获得一种在一维空间的”最优分类器”。

• 2.也可利用先验知识选定分界阈值点$y_0$,如选择:
  

  $$y_0^{(1)}=\frac{\overline{m_1}+\overline{m_2}}{2}\\ y_0^{(2)}=\frac{N_1\overline{m_1}+N_2\overline{m_2}}{N_1+N_2}=\overline{m}\\ y_0^{(3)}=\frac{\overline{m_1}+\overline{m_2}}{2}+\frac{ln(P(\omega_1)/P(\omega_2))}{N_1+N_2-2}\\ 其中P(\omega_1)和P(\omega_2)分别为\omega_1类和\omega_2类样本的先验概率$$
  再根据决策规则
  $$y \lt(\gt) y_0\rightarrow x\in\begin{cases} \omega_1\\ \omega_2 \end{cases}$$
  ​判断类别

代码:

function y=fisher(x1,x2,sample)
%Fisher函数
%x1,x2,sample分别为两类训练样本及待测数据集，其中行为样本数，列为特征数
r1=size(x1,1);r2=size(x2,1);
r3=size(sample,1);
a1=mean(x1)';a2=mean(x2)';
s1=cov(x1)*(r1-1);s2=cov(x2)*(r2-1);
sw=s1+s2;%求出协方差矩阵
w=inv(sw)*(a1-a2)*(r1+r2-2);
y1=mean(w'*a1);
y2=mean(w'*a2);
y0=(r1*y1+r2*y2)/(r1+r2);
for i=1:r3
  y(i)=w'*sample(i,:)';
   if y(i)>y0
      y(i)=0;
   else
      y(i)=1;
   end
end