线性分类判别LDA

LDA算法的手推部分讲单独开一篇文章写，这里是理论部分。

介绍
监督学习中的线性判别分析简介

随着技术的发展和连接设备的趋势，可以考虑将大量数据考虑在内，其存储和隐私性成为一个值得关注的大问题。数据黑客制定了从大量数据中窃取此类机密信息的算法。因此，必须精确地处理数据，这也是一项耗时的任务。同样，我们已经看到，并不是所有数据都需要推理，数据维度的减少也可以帮助管理可能间接帮助数据安全和隐私的数据集。

在此博客的核心方面，我们将重点介绍数据降维技术，它将介绍线性判别分析（LDA）的概念，LDA与其他降维技术（PCA）的区别以及相关应用。

机器学习分为三个广阔的领域，分别是监督学习，无监督学习和强化学习。 1936年，罗纳德·费舍尔（Ronald A.Fisher）首次提出了线性判别式方法，并将其作为分类器展示了一些实际用途，并针对两类问题进行了描述，后来又被广义化为“多类线性判别分析”或“多重判别分析”。 1948年推出CRRao。

线性判别分析是监督学习中最常用的降维技术。基本上，这是用于模式分类和机器学习应用程序的预处理步骤。它使用真正的可分离特征类将数据集投影到适度的维空间中，从而最大程度地减少了过度拟合和计算成本。

为了基于描述对象的一组参数将对象分为两个或多个组中的一个，LDA提供了特定的功能和应用程序，我们将在接下来的部分中详细了解。

在线性判别分析下，我们基本上是在寻找

哪一组参数最能描述对象组的关联？
区分这些群体的最佳分类受体模型是什么？

它广泛用于组中的品种建模，即将变量分配到两个或多个类中，假设我们有两个类，我们需要对其进行有效分类

类可以具有多个功能，使用一个功能进行分类可能会导致某种程度的变量重叠，因此需要增加功能数量以避免重叠，从而导致适当的分类。

考虑另一个降维和特征提取的简单示例，您想根据与肥皂相关的信息检查肥皂的质量，包括各种功能，例如肥皂的重量和体积，人们的喜好评分，气味，颜色，效果风可以更清楚地了解问题；

测试对象-肥皂；
检查产品类别类别的质量为“好”或“差”（因变量，类别变量，度量范围为名义比例）；
描述产品的特征-描述肥皂的各种参数（独立变量，标称，序号，内部标度的测量标度）；

确定目标变量或因变量后，可以将其他相关信息从现有数据集中拖出，以检查特征对目标变量的有效性。 因此，数据维减少了，重要的相关功能保留在新数据集中。

步骤
线性判别分析的目标是将高维空间中的特征投影到低维空间中。
这可以通过三个步骤实现：
第一步是计算不同类别之间的可分离性（即不同类别平均值之间的距离），也称为类别间方差

第二步是计算每个类别的均值与样本之间的距离，称为类别内方差

第三步是构造一个最小维空间，它使类之间的方差最大化，并使类内方差最小。让P为更低维空间投影，这被称为Fisher准则。（就是类之间距离最大，类内距离最小化）

LDA和PCA之间的区别

通过上面的讨论，我们知道，一般而言，LDA方法与主成分分析非常相似（请参阅上一篇博客以获取有关PCA的更多信息），它们都是用于降维的线性变换技术，但也追求一些差异;

LDA和PCA的最早区别是PCA可以进行更多的特征分类，而LDA可以进行数据分类。

实际数据集的形状和位置在转换为PCA下的另一个空间时会发生变化，而在LDA中转换为不同空间时，形状和位置则没有变化。 LDA仅提供更多的类可分离性。

PCA和LDA在机器学习中已广泛使用降维技术，其根本区别是“分别在无监督学习和有监督学习中部署PCA和LDA”

PCA可以表示为无监督算法，因为它避免了类标签，并着重于寻找方向（主成分）以最大化数据集中的方差，与此相反，LDA被定义为有监督算法，并计算当前轴和方向的方向。以最大程度地分隔多个类别。

线性判别分析的应用

用于数据分类和降维的技术有多种，其中主要使用主成分分析（PCA）和线性判别分析（LDA）。在类内频率不相等的情况下，线性判别分析可以轻松辅助数据，可以在随机分布的测试数据上检查其性能。此方法导致任何数据集的类间变异与类内变异的比率最大化，并使可分离性最大化。

Google Analytics（分析）步骤注册表格

LDA已成功用于各种应用程序中，只要将问题转化为分类问题，就可以实现此技术。例如，LDA可以用作语音识别，微阵列数据分类，面部识别，图像检索，生物信息学，生物识别，化学等的分类任务。以下是LDA的其他应用；

为了获得客户的认可：LDA可以帮助您识别和选择参数，以描述极有可能购买相似产品的一组客户的组成部分。

对于人脸识别：这是计算机视觉领域最著名的应用程序，每个人脸都绘制有大量像素值，LDA在执行分类任务之前首先将特征数量减少到可控制的数量。创建具有新生成尺寸的镜脚，该尺寸是像素值的线性组合。

在医疗方面：此处使用LDA将患者的疾病状态根据各种参数和患者正在接受的医学治疗而分类为轻度，中度或严重，以减少治疗的进展。

对于预测：LDA被牢固地用于预测，因此在决策中，“您会读一本书”通过一个或两个可能的类作为阅读书为您提供预测结果。

在学习中：如今，训练有素的机器人可以像人类一样学习和交谈，这可以视为分类问题。 LDA根据各种参数（例如频率，音高，声音，曲调等）建立相似的组。