使用类内散度与类间散度进行特征选择

最新推荐文章于 2022-10-10 20:55:17 发布
最新推荐文章于 2022-10-10 20:55:17 发布
阅读量3.1k 收藏 4
点赞数 1
分类专栏： 机器学习之特征选择
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pingguolou/article/details/103247262
版权

1.度量类内差异，可以使用方差σ来度量，正类方差和负类方差之和通常也称为类内散度 σ1+σ2。度量类间差异可以使用均值距离Δu，通常称为类间散度。这可以用作特征选择，即在分类过程中，我们希望使用类内差异小、类间差异大的特征。因此，可以对所有特征的类内散度和类间散度进行排序.如

       1.1根据alpha*(σ1+σ2)+-|Δu|从小到大选择，即选择较小的值

       1.2根据σ/|Δu|。。。。。。。。。。。。。。。

appron
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
线性判别分析(Linear Discriminant Analysis, LDA）算法分析
warmyellow的专栏
04-06 14万+
LDA算法入门 一． LDA算法概述：线性判别式分析(Linear Discriminant Analysis, LDA)，也叫做Fisher线性判别(Fisher Linear Discriminant ,FLD)，是模式识别的经典算法，它是在1996年由Belhumeur引入模式识别和人工智能领域的。性鉴别分析的基本思想是将高维的模式样本投影到最佳鉴别矢量空间，以达到抽取分类信息和
线性分类器之Fisher线性判别
Rainbow0210的博客
10-22 2万+
在前文《贝叶斯决策理论》中已经提到，很多情况下，准确地估计概率密度模型并非易事，在特征空间维数较高和样本数量较少的情况下尤为如此。 实际上，模式识别的目的是在特征空间中设法找到两类（或多类）的分类面，估计概率密度函数并不是我们的目的。 前文已经提到，正态分布情况下，贝叶斯决策的最优分类面是线性的或者是二次函数形式的，本文则着重讨论线性情况下的一类判别准则——Fisher判别准则。为了避免陷入复杂
LDA散度矩阵的计算
08-17
计算LDA中的散度矩阵，matlab实现
详解线性判别分析(LDA)
yellowetao的博客
10-04 2784
本文着重于思想的理解与公式的推导~ Linear Discriminant Analysis（LDA）是一种经典的线性学习方法，亦称“Fisher判别分析法” 注意：本文中的 基本思想： 找到一条直线（低维空间），使得将平面（高维空间）中的样本点投影到直线（低维空间）中，尽量使得同类样本点接近，异类样本点远离，判断新样本：当将新样本投影后，根据其投影后的位置判断其类别。 投影： 什么叫样本点投影到直线上：将点（原点指向样本点的向量）投影...
类间散度矩阵和类内散度矩阵
热门推荐
心旷神怡
08-03 3万+
python实现类内类间散度矩阵，并计算其商
weixin_44620044的博客
03-31 4999
python实现类内类间散度矩阵，并计算其商J 1 类内类间散度矩阵的数学定义 参考博客：https://blog.csdn.net/weixin_38313518/article/details/76623744 2 类内距离的理解 参考博客：https://blog.csdn.net/ycheng_sjtu/article/details/25343043 matlab代码理解：https...
计算类内散度矩阵和类间散度矩阵实例
m0_62879974的博客
10-10 9762
计算类内散度矩阵和类间散度矩阵实例
机器学习-聚类
StarFireduziqun的博客
07-27 1217
1.聚类 监督学习：发现数据属性和类别属性之间的关联模式，并通过利用这些模式来预测未知数据的类别属性 无监督学习：数据没有目标属性，发现数据中存在的内在结构及规律 无监督学习中研究最多，应用最广的是聚类，常见的无监督学习任务还有密度估计，异常检测等。 聚类是一种发现数据中的相似群的技术，聚类是一个将数据集中某些方面相似的数据成员进行分类组织的过程。一个聚类就是一些数据实例的集合，这个集合中的元素彼此相似，与其它聚类中的元素不同。 聚类既可以作为一个单独过程，用于寻找数据内在的分布结构，也可以作为分类等其它
总类内散度阵、总类间散度阵、某类数据的类内散度矩阵 python
wansui60的博客
06-22 3940
def cacuSW(train_face,k):#利用总的样本矩阵计算总的类内散度矩阵 #train_face：行为样本，所有样本矩阵，每k行为一类为 m,n=train_face.shape sw=np.zeros([n,n])#大小为特征数*特征数 meanlei=np.zeros([40,n])#计算40个类中，每个类的平均 meanlei=[] for i in range(0,m,k): train0=train_face[i:i+k,:]
Davies-Bouldin聚类评价指标
weixin_51652691的博客
10-29 1224
用途：聚类算法中评估判断簇的个数是否合适(用来选择k) 原理：计算所有簇的类内距离和类间距离的比值(类内/类间)，比值越小越好。即类间距离越大，类内距离越小(数据越集中)越好 公式： (1)分散度(类内距离)S_i:表示第i个类中，度量数据点的分散程度 (2)类间距离M_ij:表示第i类中心与第j类中心的距离 (3)两类的相似度：其实就是分散度/类间距离 越分散，类间距离越小，相似度越大 (4)每个类找与它最相似的类的相似度作为其权重，所有相似度加和求平均 总的来说，这个DBI就是计算类内距
[nlp] KL散度与JS散度
01-07
KL散度( Kullback–Leibler divergence) (最大类间散度) 是描述两个概率分布差异的一种测度。对于两个概率分布P、Q，二者越相似，KL散度越小。 KL散度的性质：P：真实分布，Q：P的拟合分布 非负性：KL(P||Q)>=0，当P...
论文研究-基于散度差准则的文本特征降维研究.pdf
07-22
首先讨论了文本分类中特征降维的主要方法及其特点，然后分析了一种基于散度差的准则用于特征降维的原理和方法，从理论上对该方法的相关步骤进行了数学论证。在中文文本分类实验中，对KNN分类器进行了基于密度的改进...
论文研究-基于局部类内类间离散度矩阵的类别可分性判据 .pdf
08-16
基于局部类内类间离散度矩阵的类别可分性判据，韩绍卿，李夕海，特征选择是模式识别领域的重要问题之一。特征选择的关键在于特征子集的评价标准。对于某些类别内呈多峰分布的特征选择问题，传统
适用于小样本问题的具有类内保持的正交特征提取算法
02-23
算法根据同类样本之间的空间结构信息,重新定义了类内散度矩阵与类间散度矩阵,进而给出了一个新的目标函数.然而新的目标函数对于人脸识别问题,同样存在着小样本问题.为此本文将原始数据空间降到一个低维的子空间,从而...
论文研究-一种基于核的最大散度差特征抽取方法.pdf
07-22
然后分析了基于散度差准则的线性鉴别方法的优点与不足，借助于核函数较好地解决了线性可分性较差的样本分类问题，在最低限度减少信息损失的前提下实现了特征维数的大幅度减缩。实验结果表明，该方法在文本分类上的...
详解散度、旋度（二维、三维）
一个搬运知识的笨小孩
12-25 2万+
散度、旋度的计算 笔记来源：Khancademy/MultiVariableDerivatives/curl-grant-video 1. 二维散度的计算 二维向量场例子 假设二维平面中的每个点为每个粒子，粒子会沿着向量场的方向移动 在某坐标点附近区域中我们观察粒子通过该区域粒子的数量变化 1.1 散度等于0 某坐标点附近的粒子，进入该区域的粒子数量等于离开该区域的粒子数量，所以它的散度=0=0=0 1.2 散度大于0 二维向量场例子 坐标原点附近的粒子，由坐标原点向外发散，这个区域内的粒子减少（都发
机器学习 基础理论 学习笔记 （8）特征选择（feature selection）（一）
酒心★
12-28 9923
1.特征工程 特征选择是特征工程里的一个重要问题，其目标是寻找最优特征子集。特征选择能剔除不相关(irrelevant)或冗余(redundant )的特征，从而达到减少特征个数，提高模型精确度，减少运行时间的目的。另一方面，选取出真正相关的特征简化模型，协助理解数据产生的过程。并且常能听到“数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已”，由此可见其重要性。但是它几乎很少出现于机器学习书本里面的某一章。然而在机器学习方面的成功很大程度上在于如果使用特征工程。 考虑特征选择，是因为机器学习
人工智能基础学习：Fisher判别的python推导和Fisher线性分类判断的理解
A981012的博客
05-06 923
Fisher线性分类判断的理解和Fisher判别的python推导Fisher线性分类判断类内离散度概念和几何意义类间离散度概念和几何意义Fisher判别python推导 Fisher线性分类判断 Fisher线性判别函数是研究线性判别函数中最有影响的方法之一。对线性判别函数的研究就是从R.A.Fisher在1936年发表的论文开始的。 Fisher 线性判别函数的提出：在用统计方法进行模式识别时...
机器学习之Fisher判别分析
qq_41133375的博客
05-05 9490
机器学习之Fisher判别分析一、算法描述1、W的确定2、阈值的确定3、Fisher线性判别的决策规则4、群内离散度”（样本类内离散矩阵）、“群间离散度”（总类内离散矩阵）二、Python代码实现 一、算法描述 Fisher线性判别分析的基本思想：选择一个投影方向（线性变换，线性组合），将高维问题降低到一维问题来解决，同时变换后的一维数据满足每一类内部的样本尽可能聚集在一起，不同类的样本相隔尽可能...
python写出类内散度矩阵计算模板
最新发布
03-22
当计算类内散度矩阵时，我们需要先计算每个类别的均值向量，然后使用这些均值向量计算散度矩阵。下面是一个Python的类内散度矩阵计算模板： ```python import numpy as np def within_class_scatter(X, y): unique_classes = np.unique(y) # 获取所有唯一的类别 num_features = X.shape[1] # 特征的数量 num_classes = len(unique_classes) # 类别的数量 mean_vectors = [] # 存储每个类别的均值向量 scatter_matrix = np.zeros((num_features, num_features)) # 初始化散度矩阵 for cls in unique_classes: class_samples = X[y == cls] # 获取属于当前类别的样本 class_mean = np.mean(class_samples, axis=0) # 计算当前类别的均值向量 mean_vectors.append(class_mean) # 计算当前类别的散度矩阵 scatter_matrix += np.dot((class_samples - class_mean).T, (class_samples - class_mean)) return scatter_matrix, mean_vectors # 示例用法 X = np.array([[1, 2], [3, 4], [5, 6], [7, 8]]) y = np.array([0, 0, 1, 1]) scatter_matrix, mean_vectors = within_class_scatter(X, y) print("散度矩阵：") print(scatter_matrix) print("均值向量：") print(mean_vectors) ``` 这个模板中，`X`是输入的特征矩阵，每行代表一个样本，每列代表一个特征。`y`是对应的类别标签。函数`within_class_scatter`会返回计算得到的类内散度矩阵和每个类别的均值向量。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值