R语言实例链接:
拓端数据科技 / Welcome to tecdattecdat.cn![5b54b277e6281834888666f86d1c28c1.png](https://img-blog.csdnimg.cn/img_convert/5b54b277e6281834888666f86d1c28c1.png)
一、线性分类判别
对于二分类问题,LDA针对的是:数据服从高斯分布,且均值不同,方差相同。
概率密度:
![38ce444407f9e54c9dce1447b2a6cf07.png](https://img-blog.csdnimg.cn/img_convert/38ce444407f9e54c9dce1447b2a6cf07.png)
p是数据的维度。
分类判别函数:
![efc5cd8a5a1598800023c8d41c6d3e8c.png](https://img-blog.csdnimg.cn/img_convert/efc5cd8a5a1598800023c8d41c6d3e8c.png)
可以看出结果是关于x的一次函数:wx+w0,线性分类判别的说法由此得来。
参数计算:
![1abed00ee306a17bb33cb4d959a54250.png](https://img-blog.csdnimg.cn/img_convert/1abed00ee306a17bb33cb4d959a54250.png)
二、二次分类判别
对于二分类问题,QDA针对的是:数据服从高斯分布,且均值不同,方差不同。
数据方差相同的时候,一次判别就可以,如左图所示;但如果方差差别较大,就是一个二次问题了,像右图那样。
![ca34b8bb78ded1f7b88939d4e65790eb.png](https://img-blog.csdnimg.cn/img_convert/ca34b8bb78ded1f7b88939d4e65790eb.png)
从sklearn给的例子中,也容易观察到:
![7cd38c321c0907068c2b2659825e1ea1.png](https://img-blog.csdnimg.cn/img_convert/7cd38c321c0907068c2b2659825e1ea1.png)
QDA对数据有更好的适用性,QDA判别公式:
![015b8eb547749035321a051aa9b72811.png](https://img-blog.csdnimg.cn/img_convert/015b8eb547749035321a051aa9b72811.png)
三、Fisher判据
A-Fisher理论推导
Fisher一个总原则是:投影之后的数据,最小化类内误差,同时最大化类间误差
![b1475145faaa04f2994e09324151563a.png](https://img-blog.csdnimg.cn/img_convert/b1475145faaa04f2994e09324151563a.png)
其中,
![3db6f94f7cd705aad42610b03f1525ec.png](https://img-blog.csdnimg.cn/img_convert/3db6f94f7cd705aad42610b03f1525ec.png)
分别对应投影后的类均值。
![52675cb75b94e93e1497e26688ea9052.png](https://img-blog.csdnimg.cn/img_convert/52675cb75b94e93e1497e26688ea9052.png)
对应投影后的类内方差。
重写类内总方差、类间距离:
![fbc1c419413e1f085a47533ad2a2fd0e.png](https://img-blog.csdnimg.cn/img_convert/fbc1c419413e1f085a47533ad2a2fd0e.png)
准则函数重写:
![10d62877d0015de90137a8c75e6e1a4b.png](https://img-blog.csdnimg.cn/img_convert/10d62877d0015de90137a8c75e6e1a4b.png)
容易求解:
![84f5eeabade4b6cd733fbfca686992d9.png](https://img-blog.csdnimg.cn/img_convert/84f5eeabade4b6cd733fbfca686992d9.png)
其中
![4233a45e4f15728da65465a625ee605c.png](https://img-blog.csdnimg.cn/img_convert/4233a45e4f15728da65465a625ee605c.png)
常借助SVD求解:Sw = U∑VT,Sw-1 = U∑-1VT,借助特征值分解也是可以的。
参考文献
1.用SPSS估计HLM层次线性模型模型
2.R语言线性判别分析(LDA),二次判别分析(QDA)和正则判别分析(RDA)
3.基于R语言的lmer混合线性回归模型
4.R语言Gibbs抽样的贝叶斯简单线性回归仿真分析
5.在r语言中使用GAM(广义相加模型)进行电力负荷时间序列分析
6.使用SAS,Stata,HLM,R,SPSS和Mplus的分层线性模型HLM
7.R语言中的岭回归、套索回归、主成分回归:线性模型选择和正则化
8.R语言用线性回归模型预测空气质量臭氧数据
9.R语言分层线性模型案例