机器学习强基计划1-4：从协方差的角度详解线性判别分析原理+Python实现

0 写在前面

机器学习强基计划聚焦深度和广度，加深对机器学习模型的理解与应用。“深”在详细推导算法模型背后的数学原理；“广”在分析多个机器学习模型：决策树、支持向量机、贝叶斯与马尔科夫决策、强化学习等。

🚀详情：机器学习强基计划(附几十种经典模型源码合集)

1 什么是线性判别分析？

线性判别分析(Linear Discriminant Analysis, LDA)的核心思想是：将给定训练集投影到特征空间的一个超平面上，并设法使同类样本投影点尽可能接近，异类样本投影点尽可能远离。

线性判别分析是一种将样本投影到低维空间进行分类的方法，因此它既是分类技术又是降维技术，本文主要讨论LDA进行分类的原理：在对新样本进行分类时，将其投影到同样的分类平面上，根据投影点的位置确定新样本的类别

如图所示是LDA算法分类的直观图示，很显然右图分类效果更好，接下来我们讨论如何找到超平面实现以下两个目标：

• 同类样本投影点尽可能接近
• 异类样本投影点尽可能远离

2 协方