线性判别分析(Linear Discriminant Analysis, LDA）算法分析

解读复杂LDA概念：从维基百科到深入理解
最新推荐文章于 2024-09-26 08:51:10 发布
转载 最新推荐文章于 2024-09-26 08:51:10 发布 · 1.3k 阅读 · 0
文章标签：

#统计

表示看了好久维基百科上讲的LDA，看不懂。。。于是乎搜到这篇文章还不错


转自  http://blog.csdn.net/warmyellow/article/details/5454943



【温故而知新】线性判别分析(Linear Discriminant Analysis)
CVer
02-04 963
线性判别分析(Linear Discriminant Analysis, LDA)是一种经典的线性分类方法。 LDA的基本思想：给定训练数据集，设法将样本投影到一条直线上，使得同类样本的投影点尽可能的接近，不同类样本的投影点尽可能远离；在对新来样本进行分类时，首先将其投影到直线上，再根据投影点的位置来判断样本所属的类别。即：类内小，类间大("高内聚，松耦合") 给定数据集,在这里我们将记为...
机器学习 线性判别分析（linear discriminant analysis）
u013708703的博客
07-18 1582
一、基本原理 1. 模型形式 LDA模型主要用于分类数据的降维，往往每个样本会有很多属性以及一个所属类别，假设有d个属性，那么样本空间就是d维的，通过LDA模型可以将d维数据投影到某个超平面，从而降低维度。这个超平面也不是随便选择的，它需要同一类的样本投影到超平面后距离尽量小，同时，不同类的样本投影到超平面后距离又要尽量大。说白了就是映射到超平面后，相当于聚了个类，同一类的尽量待在一块，不同类...
线性判别式分析(Linear Discriminant Analysis, LDA)MATLAB实现
11-05
线性判别式分析(Linear Discriminant Analysis, LDA)算法，利用MATLAB实现。附实例原始代码以及结果图
基于 Python 的 11 种经典数据降维算法|线性-LDA(Linear Discriminant Analysis)降维算法
weixin_40801364的博客
12-15 606
线性- LDA(Linear Discriminant Analysis)降维算法 LDA 是一种可作为特征抽取的技术，其目标是向最大化类间差异，最小化类内差异的方向投影，以利于分类等任务即将不同类的样本有效的分开。LDA 可以提高数据分析过程中的计算效率，对于未能正则化的模型，可以降低维度灾难带来的过拟合。 LDA 降维算法展示 详细内容可参见《数据降维—线性判别分析(LDA)》： ht...
线性判别分析（Linear Discriminant Analysis ,简称LDA）
Jack旭的博客
08-30 1519
线性判别分析（Linear Discriminant Analysis ,简称LDA）是一种经典的线性学习方法，在二分类问题上最早由【Fisher，1936】提出，也称为“Fisher 判别分析” LDA的思想：给定训练样本例集，设法将例投影在一条直线上，使得同类例的投影点近可能近，异类样例尽可能地远离；在对新样本进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定新样本的类别。如下图所
线性判别分析 Linear Discriminant Analysis | LDA
JasonH2021的博客
06-03 8440
本文主要简单介绍了线性判别分析的基本概念，优缺点，应用场景，建模时的注意事项，评价指标，实现方法，python示例和模型参数等。
机器学习之线性判别分析（Linear Discriminant Analysis）
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
07-26 7751
Iris 鸢尾花数据集是一个经典数据集，在统计学习和机器学习领域都经常被用作示例。数据集内包含 3 类共 150 条记录，每类各 50 个数据，每条记录都有 4 项特征：花萼长度、花萼宽度、花瓣长度、花瓣宽度，可以通过这4个特征预测鸢尾花卉属于（iris-setosa, iris-versicolour, iris-virginica）三种中的哪一品种。LDA是一种简单而有效的分类器和降维方法，特别适用于特征维度较低、数据符合高斯分布的问题。
线性判别分析 LDA（Linear Discriminant Analysis）
JiangMengYa
10-09 2169
线性判别分析 LDA，数学基础、及代码实现
python 实现linear discriminant analysis线性判别分析算法
luthane的博客
09-26 984
线性判别分析（Linear Discriminant Analysis，简称LDA）是一种用于降维和分类的监督学习算法。它通过最大化类间散度和最小化类内散度来找到最佳投影方向，使得不同类别的数据在新的空间中尽可能分开，同一类别的数据尽可能靠近。LDA的基本思想LDA的基本思想是将多维数据映射到低维空间，同时保留数据之间的类别差异。具体来说，LDA通过计算类内散度矩阵（描述同一类别内部数据的分布情况）和类间散度矩阵（描述不同类别之间的差异），然后求解这两个矩阵的广义特征值问题，找到最佳的投影方向。
线性判别分析（Linear Discriminant Analysis）
热门推荐
ffeng271的专栏
03-14 3万+
线性判别分析（Linear Discriminant Analysis） 1. 问题      之前我们讨论的PCA、ICA也好，对样本数据来言，可以是没有类别标签y的。回想我们做回归时，如果特征太多，那么会产生不相关特征引入、过度拟合等问题。我们可以使用PCA来降维，但PCA没有将类别标签考虑进去，属于无监督的。      比如回到上次提出的文档中含有“learn”和“st
机器学习降维算法二：LDA（Linear Discriminant Analysis）
weixin_34242509的博客
11-24 237
很多基础知识有些遗忘了，也算作是一种复习。我尽量推导的关键的地方写写，建议大家还是要手动推一推公式增加理解。 Linear Discriminant Analysis (也有叫做Fisher Linear Discriminant)是一种有监督的（supervised）线性降维算法。与PCA保持数据信息不同，LDA是为了使得降维后的数据点尽可能地容易被区分！ 假设原始数据表示为X，（m*n矩阵...
Fisher's linear discriminant(Linear Discriminant Analysis)
斑驳记忆的专栏
01-21 7550
Fisher's linear discriminant的主要思想是(简单起见这里先讨论分成2类的情况)将高维的数据投影到一维，在这一维上，我们就能轻易得到分类。 以下两幅图分别来自prml 和the elements，我觉得非常好的说明了在分成两类的情况下Fisher's linear discriminant的思想(左图的投影没有右图的好):
机器学习（三）——Linear Discriminant Analysis
南木的博客
12-19 2016
二分类情况： 1． 加载实验数据 2. 绘制出数据散点图 3. 求类内散度矩阵 4. 求类间散度矩阵 5. 求最大特征值和特征向量 6. 计算投影点 7. 绘制完整图像 多分类情况： 多分类线性判别分析（LDA）中，除了参数有所变化之外，只对求最大特征值及特征向量的部分做了些许改动，类间散度矩阵和类内散度矩阵都由(psb1+qsb2)/(p+q)变成了(psb1+qsb2+r*sb3...
Vue3面试题总结[可运行源码]
11-21
本文整理了一系列Vue3前端面试题，涵盖基础、进阶、冷门及性能优化等多个方面。基础部分包括Vue3响应式实现、ref与reactive区别、生命周期对比等；进阶部分涉及computed与watch区别、父子组件传值方式、v-model双向绑定原理等；冷门部分介绍了shallowReactive、shallowRef、customRef、Teleport和Suspense等特性；性能优化部分则讨论了避免不必要渲染的方法和Diff算法优化。此外，还深入探讨了Vue3的源码和底层原理，如响应式依赖收集流程、setup设计优势及Tree-shaking优化等。内容全面，适合准备Vue3面试的开发者参考。
深度强化学习在数据库索引策略中的简化实验
最新发布
11-21
本脚本通过构造模拟的数据库查询日志，利用深度强化学习（Policy Gradient）探索“是否使用索引（use_index）”这一二元决策对执行时间与资源消耗的影响，用于演示 DRL 在查询优化策略学习中的基本思路。 主要功能： 1. 生成模拟查询日志（字段数、条件数、是否用索引、数据量、执行时间等） 2. 基于查询语句与结构特征构造状态向量 3. 定义策略网络（PolicyNetwork），输出“使用索引 / 不使用索引”的策略概率 4. 定义奖励函数，综合考虑执行时间与资源消耗 5. 在模拟环境中训练策略网络，学习索引使用策略
Burpsuite安装教程[源码]
11-21
本文详细介绍了在Windows平台下安装Burpsuite的完整步骤。首先，需要配置JAVA环境，包括安装JDK和设置环境变量（JAVA_HOME、CLASSPATH和Path）。接着，通过运行burp-loader-keygen.jar文件进行Burpsuite的安装和激活。文章还提供了工具下载链接和注意事项，如避免将Burpsuite安装在中文目录下。整个过程图文并茂，适合初学者跟随操作。
Go与Java深度对比[可运行源码]
11-21
本文深入对比了Go语言与Java在性能、生态、开发效率和安全性等方面的差异。Go凭借静态编译、轻量级并发和简洁语法，在高并发网络服务和云原生工具中表现优异；而Java则依赖成熟的JVM生态、强类型系统和丰富的企业级框架，在复杂业务系统和大数据平台中占据优势。文章还提供了技术选型的建议，指出Go适合追求性能和简洁性的场景，而Java更适合需要稳定性和成熟生态的企业应用。最终强调，技术选型应根据具体需求权衡效率与成熟度，两者在现代软件架构中可互补共存。
Win7安装JDK17指南[项目代码]
11-21
本文详细介绍了在Windows 7系统上安装JDK17的完整步骤。首先从Oracle官网下载JDK安装包，然后按照指引完成安装过程。接着重点讲解了环境变量的配置方法，包括创建JAVA_HOME变量和修改Path变量。最后通过运行java -version命令验证安装是否成功。整个过程清晰明了，适合初学者跟随操作。
线性判别分析（Linear Discriminant Analysis, LDA）如何确定降维的维度
08-03
<think>首先，用户的问题是：“我想了解线性判别分析（LDA）如何确定降维后的维度 请问线性判别分析 LDA 如何选择降维后的特征维度”。这是在问LDA降维时如何选择降维后的维度。 我需要基于系统级指令来构建回答： - 所有行内数学表达式使用$...$格式。 - 独立公式使用$$...$$格式并单独成段。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 在回答中引用的段落末尾自然地添加引用标识，如[^1]。 用户可见层指令： - 回答结构清晰，帮助用户逐步解决问题。 - 尽量保证回答真实可靠。 参考的站内引用： - 引用[1]: 描述了LDA的基本思想：投影后使相同类别的点更接近，形成簇。 - 引用[2]: 提到LDA的目标是“投影后类内方差最小，类间方差最大”，并给出了一个Python实现示例。 用户的问题是关于LDA如何选择降维后的维度。LDA在降维时，降维后的维度通常与类别数量有关。具体来说，对于一个有$C$个类别的数据集，LDA降维后的最大维度是$C-1$。这是因为LDA的目标是最大化类间散度相对于类内散度的比值，这导致特征空间被投影到一个最多$C-1$维的子空间。 关键点： - LDA降维后的维度由类别的数量决定。 - 最大维度是$C-1$，其中$C$是类别数。 - 在实际应用中，可以根据特征值的大小来选择具体维度，比如选择前$k$个最大的特征值对应的特征向量。 在数学上，LDA求解一个广义特征值问题：$S_b \mathbf{w} = \lambda S_w \mathbf{w}$，其中$S_b$是类间散度矩阵，$S_w$是类内散度矩阵。特征值$\lambda$表示该方向上的判别能力。特征值越大，判别能力越强。因此，选择前$k$个最大特征值对应的特征向量，其中$k \leq C-1$。 回答结构： 1. **介绍LDA降维维度的基本原理**：解释为什么维度与类别数相关。 2. **详细说明选择方法**：基于特征值选择维度。 3. **给出示例或步骤**：如何在实际中实现。 4. **添加引用**：自然地引用提供的参考。 5. **生成相关问题**：在最后添加相关问题。 生成相关问题： - 类似于示例，列出3-4个相关问题。 确保LaTeX正确： - 行内数学：如$C-1$，$S_b$，$S_w$。 - 独立公式：如特征值方程，使用$$...$$。 完整回答框架： 1. **开头解释**：简要回顾LDA，然后直接回答问题。 2. **核心原理**：描述维度选择。 3. **实现示例**：参考引用[2]，提到Python实现。 4. **总结**。 5. **相关问题**。</think>### 线性判别分析（LDA）如何选择降维后的特征维度 线性判别分析（LDA）是一种有监督降维方法，其核心思想是将高维数据投影到低维空间，使得投影后的数据在同类样本中方差最小化，在异类样本间方差最大化[^1]。选择降维后的特征维度（即目标维度）是LDA的关键步骤，主要由数据集的类别数量决定，并结合特征值的分析来实现。下面我将逐步解释这一过程。 #### 1. **LDA降维维度的基本原理** LDA降维后的最大维度取决于数据集中的类别数量。对于一个有$C$个类别的分类问题，LDA最多可以将数据投影到$C-1$维子空间。这是因为LDA的目标是最大化类间散度（$S_b$）与类内散度（$S_w$）的比值，这等价于求解一个广义特征值问题： $$ S_b \mathbf{w} = \lambda S_w \mathbf{w} $$ 其中： - $S_b$ 是类间散度矩阵，衡量不同类别间的差异。 - $S_w$ 是类内散度矩阵，衡量同一类别内的样本聚集程度。 - $\mathbf{w}$ 是投影方向向量，$\lambda$ 是对应的特征值，表示该方向的判别能力大小。 特征值$\lambda$的大小直接反映了投影方向的判别能力：$\lambda$越大，该方向对区分类别的贡献越大。因此，降维后的维度$k$必须满足$k \leq C-1$。例如： - 如果数据集有2个类别（$C=2$），则最大降维维度为1（即$k=1$），投影后是一维直线。 - 如果数据集有3个类别（$C=3$），则最大降维维度为2（即$k=2$），投影后是二维平面[^1]。 #### 2. **如何选择具体维度$k$** 实际应用中，降维后的维度$k$通常小于或等于$C-1$，选择依据是特征值$\lambda$的累积贡献率或特定阈值。以下是常用方法： - **特征值排序法**：计算所有特征值$\lambda_1, \lambda_2, \dots, \lambda_{C-1}$，并按从大到小排序。选择前$k$个最大特征值对应的特征向量作为投影方向，确保这些特征值的累积和占总特征值之和的比例超过预设阈值（如85%或90%）。数学公式为： $$ \frac{\sum_{i=1}^{k} \lambda_i}{\sum_{j=1}^{C-1} \lambda_j} \geq \theta $$ 其中$\theta$是阈值（例如0.85）。如果特征值快速衰减，$k$可能远小于$C-1$。 - **类别数约束**：在类别数$C$较小时（如$C=2$），$k$通常固定为$C-1$，因为更低的维度会损失判别信息。 - **实际考虑**：如果数据维度很高但类别数少，LDA会自动将维度降至$C-1$以下。例如，在引用[2]的Python示例中，数据集有2个类别，降维后维度为1，输出结果如`[[-1.732], [-1.732], ...]`，这符合$k=C-1$原则[^2]。 #### 3. **实现步骤示例** 在实际编程中（如Python的scikit-learn库），LDA降维维度的选择是自动处理的。以下是关键步骤： - **输入数据**：确保数据有标签，LDA需要类别信息。 - **求解特征值**：计算$S_b$和$S_w$的广义特征值分解，获取特征值列表。 - **选择$k$**：基于特征值累积贡献率确定$k$，或直接设置`n_components=k`参数。 参考引用[2]的代码，LDA通过奇异值分解（SVD）实现： ```python from sklearn.discriminant_analysis import LinearDiscriminantAnalysis import numpy as np # 示例数据：6个样本，2个特征，2个类别 X = np.array([[-1, -1], [-2, -1], [-3, -2], [1, 1], [2, 1], [3, 2]]) y = np.array([1, 1, 1, 2, 2, 2]) # 类别标签 # 初始化LDA，n_components指定降维后的维度（默认为C-1=1） lda = LinearDiscriminantAnalysis(solver='svd', n_components=None) # n_components=None时自动选择k=C-1 lda.fit(X, y) X_transformed = lda.transform(X) # 降维后输出一维数据 print(X_transformed) # 输出：[[-1.732], [-1.732], [-3.464], [1.732], [1.732], [3.464]] ``` 在这个例子中，类别数$C=2$，所以降维维度$k=1$（即$C-1$）。如果手动设置`n_components=1`，结果相同[^2]。 #### 4. **注意事项** - **优点**：LDA的维度选择基于类别信息，能有效保留判别特征，适合分类任务。 - **限制**：如果类别数$C$很小（如$C=2$），降维后维度固定，无法进一步压缩；如果数据维度低于$C-1$，LDA可能不适用。 - **对比PCA**：与无监督的PCA不同，LDA的维度选择受类别数约束，而PCA可根据方差贡献率灵活选择任意维度[^1]。 总之，LDA选择降维维度$k$的核心是类别数$C$和特征值分析，确保投影后类内方差最小、类间方差最大[^1]。在实际中，通过特征值累积贡献率或直接使用$k=C-1$来优化模型性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值