特征选择算法之 chisquare 算法

最新推荐文章于 2024-01-11 11:38:20 发布
最新推荐文章于 2024-01-11 11:38:20 发布
阅读量8.3k 收藏 5
点赞数 2
分类专栏： 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YoYoDelphine/article/details/52149138
版权
本文介绍了卡方（Chi-Squared）特征选择算法，用于评估特征与目标变量的相关性。通过计算卡方值，可以确定特征的重要性。公式为X^2 = ∑ ((YA - YB)^2 / YB)，其中YA是实际值，YB是假设无关时的理想值。当卡方值较大，表示特征与目标变量的相关性较强。在数据挖掘工具如Weka中，有内置的ChiSquaredAttributeEval函数来实现这一检验。
摘要由CSDN通过智能技术生成

chisquare特征选择算法：

通过计算各个特征的卡方值，进行排序后得到。

步骤如下： 1. 假设该特征与目标特征无关。 2. 计算卡方值，若卡方值较小，则相关性较小； 若较大，则相关性较大。


每个特征的卡方值计算应如下：

             X^2 = ∑ (（YA - YB）^ 2 / YB)

其中，YA是每个样本中，YA的实际值，而YB为理想值,即假设无关成立时，理想的值。

由于假设该特征与目标特征无关，则应当在该特征的范围上，目标特征值均匀分布。

例如：

假设X 有三种分类，XA,XB,XC. Y 有两种分类， Y1，Y2

则对于卡方值计算有

  Y1 Y2 合计
XA a b a+b
XB c d c+d
XC e f e+f
合计 a+c+e b+d+f  

由于X属性与Y属性无关， 则有， (a+b) * (a+c+

最低0.47元/天 解锁文章
YoYoDelphine
关注
专栏目录
特征选择MCFS算法，来自github
03-22
n many data analysis tasks, one is often confronted with very high dimensional data. Feature selection techniques are designed to find the relevant feature subset of the original features which can facilitate clustering, classification and retrieval. The feature selection problem is essentially a combinatorial optimization problem which is computationally expensive. Traditional feature selection methods address this issue by selecting the top ranked features based on certain scores computed independently for each feature. These approaches neglect the possible correlation between different features and thus can not produce an optimal feature subset. Inspired from the recent developments on manifold learning and L1-regularized models for subset selection, we propose here a new approach, called {\em Multi-Cluster/Class Feature Selection} (MCFS), for feature selection. Specifically, we select those features such that the multi-cluster/class structure of the data can be best preserved. The corresponding optimization problem can be efficiently solved since it only involves a sparse eigen-problem and a L1-regularized least squares problem. It is important to note that MCFS can be applied in superised, unsupervised and semi-supervised cases. If you find these algoirthms useful, we appreciate it very much if you can cite our following works: Papers Deng Cai, Chiyuan Zhang, Xiaofei He, "Unsupervised Feature Selection for Multi-cluster Data", 16th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD'10), July 2010. Bibtex source Xiaofei He, Deng Cai, and Partha Niyogi, "Laplacian Score for Feature Selection", Advances in Neural Information Processing Systems 18 (NIPS'05), Vancouver, Canada, 2005 Bibtex source
【机器学习】特征选择(Feature Selection)方法汇总
最新发布
小白学视觉
08-03 311
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达作者丨孙佳伟@知乎（已授权）来源丨https://zhuanlan.zhihu.com/p/74198735编辑丨极市平台极市导读详解三大类特征选择方法。介绍特征选择是特征工程里的一个重要问题，其目标是寻找最优特征子集。特征选择能剔除不相关(irrelevant)或冗余(redundant )的特征，从而达到减少特征个数，提高...
特征选择之卡方统计 Chi-Square
lengo的专栏
03-25 7656
%%%   dataset中的最后一列为分类类别，k为要选择的特征个数 function result=chiAttributeEva(dataset,k) % character_order character_order=[]; % the count of classes classes=unique(dataset(:,size(dataset,2))); n=size(dat
特征选择之卡方检验（chisquare）算法思想及其python代码实现
qq_39923466的博客
07-16 1万+
一、算法思想 1、特征选择 特征选择是去除无关紧要或庸余的特征，仍然还保留其他原始特征，从而获得特征子集，从而以最小的性能损失更好地描述给出的问题。 特征选择方法可以分为三个系列：过滤式选择、包裹式选择和嵌入式选择的方法 。 本文介绍的卡方检验即为过滤式的特征选择算法。 关于过滤式的特征算法系列，可参考我的其他文章。 特征选择之互信息 特征选择之Fisher Score 2、卡方检验 卡方检验介绍 卡方是由英语"Chi_Square"音译而来，Chi是希腊字母X(读作kai),所以卡方又能写成 x2x^2x
【SLAM学习笔记4】卡方检验chi-square
weixin_46135347的博客
11-21 9107
文章目录前言一、卡方分布二、卡方检验计算步骤关于自由度n查表检验统计量拒绝域内外判定：决策原则总结Reference 前言 卡方分布和卡方检验在很多地方都会用到，尤其是统计学和数据分析里。 卡方检验(chi-square，记为χ2检验)是一种计数资料的假设检验方法，因为对总体的分布不作任何假设，故属于非参数检验。 第一次碰见是在ORB-SLAM2检验单应矩阵中。 现在在卡方检验重新梳理一下。 一、卡方分布 卡方检验是基于卡方分布的一种假设检验方法。 实际观察次数fo与理论（期望）次数fe之差的平方除以理
x2检验（chi-square test）或称卡方检验
weixin_34342207的博客
10-25 5662
x2检验（chi-square test）或称卡方检验     x2检验（chi-square test）或称卡方检验，是一种用途较广的假设检验方法。可以分为成组比较（不配对资料）和个别比较（配对，或同一对象两种处理的比较）两类。     一、四格表资料的x2检验     例20.7某医院分别用化学疗法和化疗结合放射治疗卵巢癌肿患者，结果如表20-11，问两种疗法有无差别？ 表20-11 ...
Chi-square Calculator（计算两个种类的相关性）
qq_18343569的博客
10-09 1304
Chi-square Calculator The Chi-square tests for association between two categorical variables - for example, gender (males and females) and smoking habit (smoker and non-smoker). Requirements Rand
使用 EKF算法进行定位_MATLAB_代码_下载
06-07
理多个观察 并行 EFF 通过增加测量向量和增加传感器模型的雅可比来联合更新均值和协方差。 例如1 个观察测量形状 = (2, 1)，而 3 个观察测量形状 = (6, 1)。...33 chisquare_val = sqrt(chi2inv(, 2));
matlab神经网络和优化算法：18 降维与特征选择参考程序.zip
08-30
在MATLAB中，`corr`函数可以计算相关系数，`chisquare`函数执行卡方检验，而`stepwiselm`和`fselFun`函数则可用于逐步回归和自定义特征选择策略。 神经网络是机器学习中的一个强大模型，尤其在模式识别和函数拟合...
chisquare_inv.rar_chisquare _continous wavelet
07-15
在压缩包的文件名称列表中，我们看到一个名为"chisquare_inv.m"的文件，这很可能是MATLAB的源代码文件，实现了逆连续小波变换的具体算法。通常，这样的代码会包括对输入数据进行小波分解，然后通过某种方法（如最...
FeatureChiSquare:CRF中文分词 卡方特征提取
05-29
本项目"FeatureChiSquare:CRF中文分词 卡方特征提取"专注于利用卡方检验（Chi-Square）作为特征选择方法，结合条件随机场（Conditional Random Field, CRF）模型进行中文分词。 卡方特征选择是一种统计方法，用于...
matlab中imhist函数源代码-histogram:它提供了用于测量图像直方图并将其绘制在cv窗口中的源代码！
05-25
compHistExmp”提供了用于基于相关函数，CHI-SQUARE算法，交叉和Bhattacharyya距离比较两个直方图的源代码。 所有这些都已使用openCV lib完成。 OpenCV直方图比较链接如下： 关于卡方算法的一些重要信息 “ ...
卡方检验（Chi square statistic）
架构设计
04-08 2085
卡方检验是一种检验两个变量独立性的方法。本文将介绍其理论并给出其应用在LBP特征匹配中的例子。 卡方检验最基本的思想就是通过观察实际值与理论值的偏差来确定理论的正确与否。具体做的时候常常先假设两个变量确实是独立的（行话就叫做“原假设”），然后观察实际值（也可以叫做观察值）与理论值（这个理论值是指“如果两者确实独立”的情况下应该有的值）的偏差程度，如果偏差足够小，我们就认为误差是很自然的样...
Chi-squared 卡方检验
布纸所云
08-06 2867
卡方检验筛选特征 利用χ2χ2\chi^2筛选特征时，我们计算每个特征和类标之间的χ2χ2\chi^2统计量，最后选择χ2χ2\chi^2分数最高的k个特征。 χ2χ2\chi^2检验 χ2χ2\chi^2独立性检验用于检验两个类别型变量之间是否存在显著的关联关系。 特征x 正类 负类 总计 x=1x=1x=1 AAA BBB A+B=MA+...
【卡方检验（Chi-Squared Test）的原理简介】
weixin_43837522的博客
01-11 1万+
在一般情况下，卡方检验是针对于离散变量的独立性检验，卡方检验的零假设为两个离散变量相互独立。很明显，如果我们将其用于标签和特征的判别，就能借此判断某特征和标签是不是独立的，如果是，则说明特征对标签的预测毫无帮助。因此在很多时候，卡方检验都是非常重要的剔除无关特征的方法。
卡方分布（Chi-Squared Distribution）
生活如此美好，致敬每一个热爱“热爱”的人！
02-11 4299
定义 通俗的说就是通过小数量的样本容量去预估总体容量的分布情况 卡方检验就是统计样本的实际观测值与理论推断值之间的偏离程度 若n个相互独立的随机变量ξ₁，ξ₂，...,ξn ，均服从标准正态分布（也称独立同分布于标准正态分布），则这n个服从标准正态分布的随机变量的平方和构成一新的随机变量，其分布规律称为卡方分布（chi-square distribution） 卡方检验的基本思想是根据样本数据推断总体的频次与期望频次是否有显著性差异 公式： ...
chi square-卡方分布的定义及性质
热门推荐
kdazhe的博客
04-11 2万+
chi square-卡方分布的定义及性质摘要χ2\chi^2χ2分布 (卡方分布) 的定义gammagammagamma 分布gammagammagamma 分布的期望、方差及距生成函数χ2\chi^2χ2分布的 pdfχ2\chi^2χ2分布的性质χ2\chi^2χ2分布与正态分布的关系scipy 中的函数附录参考文献 摘要 χ2\chi^2χ2分布 (卡方分布) 的定义 gammagamma...
Weka内置特征选择算法整理
integrity
05-21 8837
属性评估方法：   CfsSubsetEval ：根据属性子集中每一个特征的预测能力以及它们之间的关联性进行评估。   ChiSquaredAttributeEval ：根据与分类有关的每一个属性的卡方值进行评估。   ClassifierSubsetEval ：根据训练集或测试集之外的数据评估属性子集。   ConsistencySubsetEval ：根据利用属性子集进
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值