R语言实例链接：
拓端数据科技 / Welcome to tecdattecdat.cn
一、线性分类判别
对于二分类问题，LDA针对的是：数据服从高斯分布，且均值不同，方差相同。
概率密度：
p是数据的维度。
分类判别函数：
可以看出结果是关于x的一次函数：wx+w0，线性分类判别的说法由此得来。
参数计算：
二、二次分类判别
对于二分类问题，QDA针对的是：数据服从高斯分布，且均值不同，方差不同。
数据方差相同的时候，一次判别就可以，如左图所示;但如果方差差别较大，就是一个二次问题了，像右图那样。
从sklearn给的例子中，也容易观察到：
QDA对数据有更好的适用性，QDA判别公式：
三、Fisher判据
A-Fisher理论推导
Fisher一个总原则是：投影之后的数据，最小化类内误差，同时最大化类间误差
其中，
分别对应投影后的类均值。
对应投影后的类内方差。
重写类内总方差、类间距离：
准则函数重写：
容易求解：
其中
常借助SVD求解：Sw = U∑VT，Sw-1 = U∑-1VT,借助特征值分解也是可以的。
参考文献
1.用SPSS估计HLM层次线性模型模型
2.R语言线性判别分析（LDA），二次判别分析（QDA）和正则判别分析（RDA）
3.基于R语言的lmer混合线性回归模型
4.R语言Gibbs抽样的贝叶斯简单线性回归仿真分析
5.在r语言中使用GAM（广义相加模型）进行电力负荷时间序列分析
6.使用SAS，Stata，HLM，R，SPSS和Mplus的分层线性模型HLM
7.R语言中的岭回归、套索回归、主成分回归：线性模型选择和正则化
8.R语言用线性回归模型预测空气质量臭氧数据
9.R语言分层线性模型案例
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
