模式识别与机器学习（三）：Fisher线性判别

最新推荐文章于 2024-09-03 12:46:57 发布

从零开始的奋豆

最新推荐文章于 2024-09-03 12:46:57 发布

阅读量805

点赞数 3

分类专栏：模式识别与机器学习文章标签：机器学习人工智能

本文链接：https://blog.csdn.net/m0_68926749/article/details/133298922

版权

模式识别与机器学习专栏收录该内容

13 篇文章 0 订阅

订阅专栏

1.原理

现在从最直观的Fisher线性判别分析(linear diseriminant analysis，LDA)开始来一些最有代表性的线性判别方法。
LDA是R. A. Fisher于1936年提出来的方法。
两类的线性判别问题可以看作是把所有样本都投影到一个方向上，然后在这个一维空间中确定一个分类的阔值。过这个國值点且与投影方向垂直的超平面就是两类的分类面。
那么，如何确定投影方向呢？
Fisher 线性判别的思想就是，选择投影方向，使投影后两类相隔尽可能远，而同时每一类内部又尽可能聚集。

2.过程

假设有N个样本 $\{x_{1},x_{2},\cdots x_{N}\}$ ，共有m类 $\{X_{1},X_{2},\cdots X_{m}\}$

Step1:计算各类样本均值

$m_{i}=\frac{1}{N_{i}}\sum_{X\in\omega_{i}}\boldsymbol{X},i=1,2$

Step2:计算各类样本类内离散矩阵 $S_{i}$ ，和总类内离散矩阵 $S_{w}$

$\boldsymbol{S}_i=\sum_{\boldsymbol{x}\in\boldsymbol{w}_i}(\boldsymbol{X}-\boldsymbol{m}_i)(\boldsymbol{X}-\boldsymbol{m}_i)^\mathrm{T},i=1,2$

$\boldsymbol{S}_{\boldsymbol{w}}=\boldsymbol{S}_1+\boldsymbol{S}_2$

Step3:计算各类样本类间离散矩阵 $S_{b}$
$\boldsymbol{S}_{b}=\left(\boldsymbol{m}_{1}-\boldsymbol{m}_{2}\right)(\boldsymbol{m}_{1}-\boldsymbol{m}_{2})^{\mathrm{T}}$

Step4:求向量 $w^{*}$

定义Fisher准则函数

$J_{\mathrm{F}}(w)=\frac{(\widetilde{\boldsymbol{m}}_{1}-\widetilde{\boldsymbol{m}}_{2})^{2}}{\widetilde{\boldsymbol{s}}_{1}^{2}+\widetilde{\boldsymbol{s}}_{2}^{2}}$

使得其达到最大值的 $w^{*}$ 是：

$w^{*}=\mathbf{S}_{w}^{-1}(\boldsymbol{m}_{1}-\boldsymbol{m}_{2})$

Step5:将X投影成Y

$\mathbf{Y}=\mathbf{w}^{*\mathrm{T}}\mathbf{X}$

Step6:计算投影阈值 $y_{0}$

$\widetilde{m_i}=\frac1{N_i}\sum_{Y\in\zeta_i}Y,i=1,2$

$\tilde{s}_{i}^{2}=\sum_{Y\in\zeta_{i}}(\boldsymbol{Y}-\widetilde{\boldsymbol{m}}_{i})^{2},i=1,2$

$\\\tilde{\boldsymbol{s}}_{w}=\tilde{\boldsymbol{s}}_{1}^{2}+\tilde{\boldsymbol{s}}_{2}^{2}$

阈值 $y_{0}$ 选择有两种方案

第一种：
$y_{0}=\frac{N_{1}\widetilde{\boldsymbol{m}}_{1}+N_{2}\widetilde{\boldsymbol{m}}_{2}}{N_{1}+N_{2}}$

第二种：

$y_0=\frac{\widetilde{\boldsymbol{m}}_1+\widetilde{\boldsymbol{m}}_2}2+\frac{\ln\bigl[P(\omega_1)/P(\omega_2)\bigr]}{N_1+N_2-2}$

Step7:根据投影阈值 $y_{0}$ 进行分类

$\left.\left\{\begin{matrix}Y>y_0&\Rightarrow X\in\omega_1\\Y<y_0&\Rightarrow X\in\omega_2\end{matrix}\right.\right.$

3.代码

3.1准备数据

随机生成两类各50个点

3.2计算

clc;clear;
rng(100);
data1=rand(50,2);
data2=rand(50,2)+1;
plot(data1(:,1),data1(:,2),'b.');
hold on
plot(data2(:,1),data2(:,2),'r.');
m1=mean(data1);
m2=mean(data2);
S1=zeros(2);
S2=zeros(2);
for i=1:50
S1=S1+(data1(i,:)-m1)'*(data1(i,:)-m1);
S2=S2+(data2(i,:)-m1)'*(data2(i,:)-m1);
end
S_w=S1+S2;
w=S_w^(-1)*(m1-m2)';
Y1=data1*w;
Y2=data2*w;
y0=0.5*(mean(Y1)+mean(Y2));
X=zeros(50,1);
hold on
plot(Y1,X,'b.');
hold on
plot(Y2,X,'r.');
legend('第一类','第二类');
axis('equal');
axes('Position',[0.2,0.5,0.3,0.3]);

plot(Y1,X,'b.');
hold on
plot(Y2,X,'r.');
xlim([min(Y2),max(Y1)]);
annotation('arrow',[0.200357142857143 0.201785714285714],...
    [0.105190476190476 0.502380952380952]);

% 创建 arrow
annotation('arrow',[0.2175 0.496071428571429],...
    [0.109 0.496666666666667]);

3.3结果

从零开始的奋豆

关注

3
点赞
踩
4

收藏

觉得还不错? 一键收藏
打赏
0
评论
模式识别与机器学习（三）：Fisher线性判别

现在从最直观的Fisher线性判别分析(linear diseriminant analysis，LDA)开始来一些最有代表性的线性判别方法。LDA是R. A. Fisher于1936年提出来的方法。两类的线性判别问题可以看作是把所有样本都投影到一个方向上，然后在这个一维空间中确定一个分类的阔值。过这个國值点且与投影方向垂直的超平面就是两类的分类面。那么，如何确定投影方向呢？Fisher 线性判别的思想就是，选择投影方向，使投影后两类相隔尽可能远，而同时每一类内部又尽可能聚集。假设有N个样本，共有
复制链接

扫一扫