特征选择学习笔记

最新推荐文章于 2022-06-08 16:55:57 发布
最新推荐文章于 2022-06-08 16:55:57 发布
阅读量467 收藏 2
点赞数 1
文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46040808/article/details/117323392
版权
本文是关于特征选择的学习笔记，涵盖了特征之间的相关性及与类别之间的相关性分析。主要介绍了过滤法（如方差选择、Pearson相关系数、卡方验证等）、包装法（包括完全搜索、启发式搜索、随机搜索和递归特征消除）以及嵌入法（如LASSO方法）等选择特征的策略。这些方法在提高模型性能和降低过拟合风险方面起着关键作用。
摘要由CSDN通过智能技术生成

特征选择学习笔记

1.特征之间的相关性分析
2.特征与类别之间的相关性分析

特征选择的三个方法

1.filter（过滤法）
定义：按照发散性或相关性对各个特征进行评分，设定阈值或者待选择特征的个数进行筛选，分为单变量过滤方法和多变量过滤方法

  • 单变量过滤方法：不需要考虑特征之间的相互关系，按照特征变量和目标变量之间的相关性或互信息对特征进行排序，过滤掉最不相关的特征变量。优点是计算效率高、不易过拟合
    多变量过滤方法：考虑特征之间的相互关系，常用方法有基于相关性和一致性的特征选择

1.1常用的过滤方法

（1）方差选择法
（2）Pearson相关系数
（3）卡方验证 互信息法和最大信息系数
（4）fisher得分 ：Fisher线性分类器是将n维训练样本投影到1维空间上，然后在一维空间进行分类，最关键的参数就是投影方向w。
（5）相关特征选择（correlation feature selection ，CFS）
（6）最小冗余最大相关性（minimum redundancy maxumum relevance ,mrmr）
（7）relief算法

2.wrapper（包装法）
**

最低0.47元/天 解锁文章
DACCUI
关注
特征选择笔记
AlphaFinance
11-05 135
Feature selection is essentially a part of data preprocessing which is considered to be the most time-consuming part of any machine learning pipeline. These techniques will help you to approach it in a more systematic way and machine learning friendly way.
机器学习笔记 - 模式识别之图像特征提取和特征选择的基本方法总结
学以致用 知行合一
01-02 4105
从模式识别角度来讲，视觉信息的特征获取是机器视觉的一个关键环节。一个机器视觉与模式识别系统的成败，首先取决于其所利用的特征能否较好地反映将要研究的分类问题。如果数据被很好地表达成了特征，通常线性模型就能达到满意的分类效果。因此，对于模式识别系统的创建，特征的选择和提取是需要优先考虑的。仅从图像角度来看，图像特征的提取和选择是图像处理过程中非常重要的环节，对后续的图像分类有重要影响，图像数据具有样本少、维数高的特点。为了从图像中提取有用的信息，有必要对图像特征进行降维处理。
特征选择之基于相关性的特征选择（CFS）
热门推荐
littlely_ll的博客
05-10 4万+
此为本人学习笔记，转载请劳烦告知！特征选择特征抽取整合原始特征，这样可能产生一些新的特征，而特征选择是去除无关紧要或庸余的特征，仍然还保留其他原始特征。特征提取主要用于图像分析，信号处理和信息检索领域，在这些领域，模型精确度比模型可解释性要重要；特征选择主要用于数据挖掘，像文本挖掘，基因分析和传感器数据处理。今天主要做的是特征选择。特征选择定义：检测相关特征，摒弃冗余特征，以获得特征子集，从而以最小
特征选择
Jiashilin
08-06 353
目录 特征选择 概念 特征的评价函数 搜索三个策略： 类别： 特征选择 概念 过滤式（filter): 先进行特征选择，然后去训练学习器，所以特征选择的过程与学习器无关。相当于先对于特征进行过滤操作，然后用特征子集来训练分类器。 包裹式（wrapper）：直接把最后要使用的分类器作为特征选择的评价函数，对于特定的分类器选择最优的特征子集。 Filter和Wrapper组...
机器学习方法怎么计算特征重要性
qq_33761777的博客
10-04 846
机器学习方法计算特征重要性
机器学习之特征选择---特征选择算法
weixin_34124577的博客
05-09 381
bayes 为例 http://blog.csdn.net/xceman1997/article/details/7955688
C++特征工程学习笔记.md
08-24
### C++特征工程学习笔记 #### 1. 特征工程概述 特征工程（Feature Engineering）是机器学习项目中至关重要的一步，它涉及到从原始数据中选择、转换和创建特征，目的是为了使这些特征能够更好地匹配机器学习算法，...
广联达计价软件学习笔记.pdf
07-14
【广联达计价软件学习笔记】 广联达计价软件GBQ4.0是一款广泛应用于建筑行业的工程计价工具，适用于土建、装饰、安装、市政和园林绿化等多个领域。学习这款软件需要掌握一系列关键步骤和技巧。 一、新建投标项目 ...
云计算学习笔记.doc
01-12
云计算学习笔记 云计算是近年来非常热门的技术领域，它的出现改变了传统的计算模式，带来了许多便捷和优势。下面是关于云计算的学习笔记，涵盖了云计算的概念、演进过程、商业模式等方面的知识点。 云计算的概念 ...
CAXA实体设计中螺纹特征学习笔记.pdf
最新发布
11-07
CAXA实体设计中螺纹特征学习笔记 本文档主要介绍了CAXA实体设计中螺纹特征命令的操作步骤和技术要点，以便设计师更好地掌握螺纹特征设计的方法和技巧。 一、设计环境 在CAXA实体设计中，螺纹特征命令是设计师常用...
特征选择MCFS算法，来自github
03-22
n many data analysis tasks, one is often confronted with very high dimensional data. Feature selection techniques are designed to find the relevant feature subset of the original features which can facilitate clustering, classification and retrieval. The feature selection problem is essentially a combinatorial optimization problem which is computationally expensive. Traditional feature selection methods address this issue by selecting the top ranked features based on certain scores computed independently for each feature. These approaches neglect the possible correlation between different features and thus can not produce an optimal feature subset. Inspired from the recent developments on manifold learning and L1-regularized models for subset selection, we propose here a new approach, called {\em Multi-Cluster/Class Feature Selection} (MCFS), for feature selection. Specifically, we select those features such that the multi-cluster/class structure of the data can be best preserved. The corresponding optimization problem can be efficiently solved since it only involves a sparse eigen-problem and a L1-regularized least squares problem. It is important to note that MCFS can be applied in superised, unsupervised and semi-supervised cases. If you find these algoirthms useful, we appreciate it very much if you can cite our following works: Papers Deng Cai, Chiyuan Zhang, Xiaofei He, "Unsupervised Feature Selection for Multi-cluster Data", 16th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD'10), July 2010. Bibtex source Xiaofei He, Deng Cai, and Partha Niyogi, "Laplacian Score for Feature Selection", Advances in Neural Information Processing Systems 18 (NIPS'05), Vancouver, Canada, 2005 Bibtex source
机器学习特征选择方法全面总结
weixin_54202028的博客
06-08 3068
什么是特征选择Pearson(皮尔森)相关系数用于度量两个变量X和Y之间的线性相关性，结果的取值区间为[-1, 1]， -1表示完全的负相关(这个变量下降，那个就会上升)，+1表示完全的正相关，0表示没有线性相关性计算方法为两个变量之间的协方差和标准差的商 样本上的相关系数为 卡方检验检验定性自变量对定性因变量的相关性。假设自变量有N种取值，因变量有M种取值，考虑自变量等于i且因变量等于j的样本频数的观察值与期望的差距，构建统计量 这个统计量的含义即自变量对因变量的相关性互信息法...
过滤特征_特征选择总结之 过滤式特征选择（附代码）
weixin_29732737的博客
01-07 917
资料来源，百度关键字搜索“特征选择 过滤式”的前二三十页不重复的数据（不得不说csdn的文章互抄率也太高了，而且好多优秀的文章都是从知乎转来的）、《机器学习》等平常看的书、google上“feature selection filter”关键字搜索的不重复结果以及自己平常记录的笔记。正好最近要做特征选择的模块，所以借着知乎总结总结，也请各位同行批评指教。let's begin！简单...
Weka中的Correlation based Feature Selection（特征选择）方法简介
qysh123的专栏
08-24 8621
最近看了几篇文章，在机器学习过程中，特征选择方法都用的是Correlation based Feature Selection （CFS），我之前对这个Feature Selection的方法实在不了解，今天简单看了一下。具体而言，实际上就是Explorer界面中“Select Attributes”中的第一个方法“CfsSubsetEval”，具体介绍如下： =================
Relief过滤式特征选择算法原理+python实现
comli_cn的博客
12-05 5883
给定一组数据： 样本 类别 feature1 feature2 0 1 1 3 1 1 1 1 2 1 2 4 3 0 3 3 4 0 4 4 第一列是类别，这里分两类，第二、三列是特征值 接下来使用Relief特征选择算法比较一下这两个特征哪个更对于分类更有作用。 首先我们随机选择一个样本,比如选择了样本1，接下来选择样本1对于feature1的“猜中近邻”和...
机器学习之特征工程（特征选择）
m0_69435474的博客
05-07 1527
简单介绍了进行数据挖掘和机器学习前的特征工程即数据预处理，包含过滤法、包装法和嵌入法三大方向的方法，其中包含相关系数法，方差选择法、卡方检验法，递归特征消除法等诸多方法，并且利用python进行实现。
特征选择， 经典三刀（转）
weixin_34088583的博客
11-25 254
特征选择（Feature Selection,FS）和特征抽取（Feature Extraction, FE）是特征工程（Feature Engineering）的两个重要的方面。 他们之间最大的区别就是是否生成新的属性。 FS仅仅对特征进行排序（Ranking）和选择， FE更为复杂，需要重新认识事物， 挖掘新的角度， 创新性的创立新的属性， 而目前深度学习这么火， 一个很重要的原因是缩减了...
模式识别 学习笔记：第七章 特征选择
mingo_敏
11-03 1万+
本系列博客主要是在学习《模式识别（张学工著 第三版）》时的一些笔记。 本文地址：http://blog.csdn.net/shanglianlm/article/details/494644451. 前言1-1 问题：从 DD 维特征中选择 d<Dd < D 个特征。1-2 特征选择主要回答两个层面的问题： 对特征的评价，即怎样衡量一组特征对分类的有效性； 寻优的算法，即怎样更快地找到性能最优或比
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值