判别模型:(LDA),QDA,KNN以及逻辑斯蒂回归（二）

四种方法的比较：
逻辑斯蒂和LDA方法是紧密相连的，都产生线性决策边界，两者只是在拟合过程中有一些差异，所以两者得到的结果应该是接近的，但当LDA的前提假设-观测服从每一类协方差矩阵都相同的高斯分布-成立时，LDA应该比逻辑斯蒂回归能提供更好的结果。

不同的是：逻辑斯蒂决策边界的参数是通过极大似然估计出来的，而LDA决策边界是通过估计正态分布均值和方差计算出来的。

KNN分类器对决策边界的形状没有做出任何假设。当决策边界高度非线性时，用该方法会优于LDA和逻辑斯蒂回归；另一方面KNN并没有指出哪些预测变量重要。

最后，QDA是非参数KNN方法和线性LDA、逻辑斯蒂回归方法之间的一个折中，QDA得到一个二次的决策边界，所以比线性方法的应用范围更广。虽然没有KNN方法光滑度高，但当数据集满足每一类都服从协方差矩阵不同、均值不同的高斯分布假设，其训练效果比KNN要好。

---

《An Introduction To Statistical Learning》一书中讲线性判别分析，实际上就是高斯判别分析（GDA），因为假设观测都是正态分布，对方差和均值也有一定的要求。而真正的线性判别分析，将在下面学习。