线性判别分析(LDA)原理笔记（KLDA算法待推导）

最新推荐文章于 2024-09-19 22:04:40 发布
最新推荐文章于 2024-09-19 22:04:40 发布
阅读量1.2k 收藏 7
点赞数
分类专栏： 机器学习-高阶学习 文章标签： python 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Hexiaolian123/article/details/120478914
版权
本文探讨LDA在分类与特征降维中的应用。首先，介绍了LDA作为分类器的基础，强调协方差矩阵在其中的作用。接着，详细解释了LDA用于特征降维的直观理解，并推导了LDA降维的公式。同时，文章讨论了如何证明协方差矩阵的半正定性。此外，还特别讨论了LDA在处理两个类别情况下的降维策略，以及Kernel Fisher LDA的概念。
摘要由CSDN通过智能技术生成

在这里插入图片描述

LDA作为分类器

在这里插入图片描述
在这里插入图片描述

协方差矩阵

在这里插入图片描述

LDA作为特征降维工具

在这里插入图片描述

LDA降维直观理解

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

LDA降维公式推导

在这里插入图片描述

如何证明协方差矩阵一-定半正定

在这里插入图片描述

LDA降维(两个类别)

在这里插入图片描述

Kernel Fisher LDA

在这里插入图片描述
#

酸菜鱼摆摆
关注
专栏目录
机器学习——线性判别分析（LDA）推导
2301_82047153的博客
01-16 999
1.点到直线的投影均值与协方差：分别为第类示例的集合，均值向量，协方差矩阵。样本中心在直线上的投影为，样本的协方差为。2.矩阵的2-范数：又名欧几里得范数，即向量元素绝对值的平方和再开方，可以表示矩阵之间的距离。3.拉格朗日乘数法：对于前面定义中所设的一般目标函数和约束条件组, 应引入辅助函数称此函数为拉格朗日函数, 其中....称为拉格朗乘数。设上述条件极值问题中的函数与在在区域上有连续一阶偏导数.。若的内点是该条件极值问题的极值点, 且则对于m 个常数使得。
文本话题聚类（Kmeans/LDA）
数据之心-小赵
03-30 1万+
K-means 1 聚类是一种无监督的学习方法。聚类区别于分类，即事先不知道要寻找的内容，没有预先设定好的目标变量。 2 聚类将数据点归到多个簇中，其中相似的数据点归为同一簇，而不相似的点归为不同的簇。相似度的计算方法有很多，具体的应用选择合适的相似度计算方法。 3 K-means聚类算法，是一种广泛使用的聚类算法，其中k是需要指定的参数，即需要创建的簇的数目，K-means算法中的k个簇的...
降维方法(LDA、PCA、KLDA、MDS和ISOMAP)总结
Geek_的博客
07-25 9060
降维方法总结线性降维PCA(无监督)LDA(有监督)非线性降维MDS（多维缩放）和ISOMAP（等度量映射）KLDA（核化的线性判别分析）小结线性降维非线性降维 线性降维 PCA(无监督) 1.协方差矩阵：随机变量组成的向量，每组随机变量的协方差构成的一个对称矩阵，其对角元是每组随机变量的方差 2.矩阵的对角化：对于矩阵M，有可逆矩阵V，使得成为对角矩阵，而M的特征值对应的特征向量组成了该可逆矩阵V。（换而言之，矩阵V的每一列对应着M的特征向量） 3.正交矩阵：转置矩阵等于其逆矩阵（），构成矩阵的列向量彼此
【降维算法】线性判别分析（LDA）
大雨淅淅的博客
09-19 1202
线性判别分析（Linear Discriminant Analysis，简称LDA）是一种经典的统计学习方法，主要用于模式识别和机器学习领域。LDA旨在找到一个线性组合，通过这个组合将多维数据投影到低维空间，同时保持类别之间的区分度最大。
降维
weixin_41675900的博客
10-19 380
常见的降维方法有主成分分析、线性判别分析、等距映射、局部线性嵌入、拉普拉斯特征映射、局部保留投影。 1 PCA最大方差理论 PCA属于一种线性、非监督、全局的降维算法 问题：如何定义主成分？从这种定义出发，如何设计目标函数使得降维达到提取主成分的目的？针对这个目标函数，如何对PCA问题进行求解？ PCA旨在找到数据中的主成分，并利用这些主成分表征原始数据，从而达到降维的目的。 在信号处理领域，认为信号具有较大方差，噪声具有较小方差，信号与噪声之比称为信噪比。信噪比越大意味着数据的质量越好，反之，信噪比越小意
Python：Generalized Discriminant Analysis (GDA) 手工代码实现 Kernel LDA
DeniuHe的博客
03-17 661
""" Auther:Deniu He Date:2021-03-16 """ import numpy as np from sklearn.datasets import load_iris from sklearn.metrics.pairwise import rbf_kernel import matplotlib.pyplot as plt from scipy.linalg import block_diag class GDA(): def __init__(self,X,y,g.
Kernel Fisher Discriminant Analysis
DeniuHe的博客
04-04 441
核判别分析代码实现
线性判别分析LDA算法代码
03-17
经典监督式学习降维方法线性判别分析LDA算法的MATLAB代码，具有降维性能好的特点，同时可以用于分类，是一种具有代表性的降维算法
贝叶斯线性判别分析LDA_lda_贝叶斯判别分析LDA_线性判别分析_slabsmml_
10-01
贝叶斯线性判别分析（Bayesian Linear Discriminant Analysis，简称LDA）是一种统计方法，常用于数据的降维和分类。它基于贝叶斯定理，将线性判别分析（Linear Discriminant Analysis）与概率框架相结合，提供了一种...
线性判别分析(LDA)原理详解及其应用
最新发布
09-24
内容概要：系统性解释了线性判别分析（LDA）的基本理论和实用细节，对比了LDA和PCA两种典型降维手段的区别，并从理论上分析了为何两者在不同类型数据集上的表现不同。具体讲解了二类和多类LDA算法以及相应的推导过程...
线性判别分析LDA（（公式推导+举例应用））
01-09
无
PCA_ICA_LDA_介绍与比较
04-07
PCA_ICA_LDA_介绍与比较，详细介绍，并进行了比较
数据降维方法汇总（中文）
04-21
很详细的各种主流数据降维方法原理的讲解，中文版的。
基于近邻（KNN）算法的分类器matlab实现
01-05
基于KNN 算法的分类器matlab实现，简单操作，可出图，可根据自身需求修改代码
【机器学习】LDA算法 (主题模型算法)
热门推荐
CWS_chen
01-14 2万+
随着互联网的发展，文本分析越来越受到重视。由于文本格式的复杂性，人们往往很难直接利用文本进行分析。因此一些将文本数值化的方法就出现了。LDA就是其中一种很NB的方法。 LDA有着很完美的理论支撑，而且有着维度小等一系列优点。本文对LDA算法进行介绍，欢迎批评指正。 本文目录： 1、Gamma函数 2、Dirichlet分布 3、LDA文本建模 4、吉普斯抽样概率公式推导 5、使用...
【Kernel Method系列】Kernel Method入门
Jason Ding的专栏
07-03 4700
核方法是20世纪90年代模式识别与机器学习领域兴起的一场技术性革命。其优势在于允许研究者在原始数据对应的高维空间使用线性方法来分析和解决问题，且能有效地规避“ 维数灾难”。在模式识别的特征抽取领域，核方法最具特色之处在于其虽等价于先将原数据通过非线性映射变换到一高维空间后的线性特征抽取手段，但其不需要执行相应的非线性变换，也不需要知道究竟选择何种非线性映射关系。目前，核方法已大量应用到机器学习、模式识别、生物特征识别、生物信息学、数据挖掘、机器学习、图像去噪等领域。
机器学习中核函数(Kernel)的理解与Kernel-SVM原理解析
木牛的博客
07-06 1万+
http://dawnote.net/2018/01/13/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E4%B8%AD%E6%A0%B8%E5%87%BD%E6%95%B0-Kernel-%E7%9A%84%E7%90%86%E8%A7%A3%E4%B8%8EKernel-SVM%E5%8E%9F%E7%90%86%E8%A7%A3%E6%9E%90/第一节 由线性...
LDA算法学习和Matlab的程序学习
ds521chun的博客
05-04 3587
摘自各个论坛，总结学习。LDA的定义：线性判别式分析（Linear Discriminant Analysis），简称为LDA。也称为Fisher线性判别（Fisher Linear Discriminant，FLD），是模式识别的经典算法，在1996年由Belhumeur引入模式识别和人工智能领域。基本思想：将高维的模式样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特征空间维数的效果，投影...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值