特征选择过滤器 - f_regression（单变量线性回归测试）

最新推荐文章于 2024-07-26 10:21:49 发布
最新推荐文章于 2024-07-26 10:21:49 发布
阅读量6.2k 收藏 11
点赞数 4
文章标签： python 算法 线性代数 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46072771/article/details/106183977
版权
本文介绍了在特征选择中使用f_regression方法进行单变量线性回归测试的数学原理和步骤。该方法计算特征与目标变量的关联性，通过相关性转化为F分数并得到p值，用于评估特征的重要性。
摘要由CSDN通过智能技术生成

文章目录


官方网站： sklearn.feature_selection.f_regression 

sklearn.feature_selection.f_regression（X，y，center = True ）

数学原理

单变量线性回归测试。

用于测试许多回归变量各自的效果的线性模型。这是要在特征选择过程中使用的评分功能，而不是独立式特征选择过程。

分两个步骤完成：

  1. 计算每个回归变量与目标之间的相关性，即（（（X [:, i]-mean（X [:, i]））（y-mean_y））/（std（X [:, i] ） std（y））。

  2. 将其转换为F分数，然后转换为p值。

参数说明


                

                
                
        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        


    


                



	

		

			

				
					
单变量线性回归测试

				
			

			

				

					04-24
				

			

		

		

			
				
用于单变量线性回归测试的一个数据集。单变量线性回归的代码在另一篇博文中可见。

			
		

	



                

            
              



	

		

			

				
					
Sklearn中的f_classif和f_regression

				
			

			

				

					jetFlow的博客
				

				

					12-24
					
					2万+
					
				

			

		

		

			
				
这两天在看Sklearn的文档，在feature_selection一节中遇到俩f值，它们是用来判断模型中特征与因变量的相关性的。刚开始看的时候一头雾水，因为需要数理统计中方差分析的背景，现在在这里简要剖析一下这两个方法的原理和用法。

			
		

	



              


  
              

                


	

		

			

				
					
F_REGRESSION

				
			

			

				

					qq_36833848的博客
				

				

					10-29
					
					1320
					
				

			

		

		

			
				
https://blog.csdn.net/jetFlow/article/details/78884619



			
		

	





	

		

			

				
					
regression Feature Selection

				
			

			

				

					
				

				

					04-22
					
					1133
					
				

			

		

		

			
				
在我们所有的feature中 ，其实有很多是没有用的，或者很多feature之间的相关性很强，这时就牵涉到feature
 selection的问题，除了用前面提到过的假设检验的方法，一般还有如下几种可供选择：

    Best Subset Selection : 最笨的办法莫过于在对于 中的每一个子集我们都尝试着去拟合，然后计算每个子集所对应的残差平方和RSS，选择具有最小RSS所对应

			
		

	



		

			
		



	

		

			

				
					
sklearn库学习--SelectKBest 、f_regression

				
			

			

				

					weixin_63016274的博客
				

				

					03-16
					
					6091
					
				

			

		

		

			
				
sklearn库学习--SelectKBest 、f_regression

			
		

	





	

		

			

				
					
R programming for feature selection and regression

				
			

			

				

					如锡如璧
				

				

					12-24
					
					828
					
				

			

		

		

			
				

data introduction
Select packages
Split dataset
feature selection
tune parameters
prediciton

1. data introduction
我的数据包含一千五百多条样例，92个属性，待预测项目有性别这样的分类问题，也有年龄这样的回归问题。
2. select packages
library(ggplot2...

			
		

	





	

		

			

				
					
Sklearn学习_03特征选择

				
			

			

				

					student_thon的博客
				

				

					05-06
					
					549
					
				

			

		

		

			
				
1



			
		

	





	

		

			

				
					
Scikit-Learn线性回归(六)

				
			

			

				

					Java/Python大数据随笔
				

				

					01-09
					
					721
					
				

			

		

		

			
				
由于惩罚项是关于回归系数ω的绝对值之和，因此惩罚项在零点处是不可导的，导致其代价函数不是处处可导的，所以就没办法通过直接求导的方式来直接得到解析解ω，类似于应用在岭回归上的最小二乘法在此失效。但不同的是，Lasso回归针对不同的自变量，会使其收敛的速度不一样。坐标轴下降法与梯度下降法类似，都属于迭代算法，不同的是，坐标轴下降法是是沿着坐标轴（维度）下降，而梯度下降法是沿着梯度的负方向下降。相比于岭回归模型的抛物面（圆面），L1正则化项的正四边形顶点更容易与损失函数的同心圆相交，更能起到特征选择的效果。

			
		

	





	

		

			

				
					
python逐步回归筛选变量_特征选择与逐步回归分析

				
			

			

				

					weixin_39799290的博客
				

				

					12-08
					
					2350
					
				

			

		

		

			
				
1引言在学校的时候，我跟着师姐做了一个文献计量学方面的研究(Citation impact prediction for scientific papers using stepwise regression analysis)，尝试预测一篇论文发表之后5年的被引次数。师姐在数据采集阶段，获取了非常多的字段，又在特征构造阶段充分发挥领域知识和想象力，最后构造了很多特征。我们不得不回答一个问题:这些...

			
		

	





	

		

			

				
					
特征选择/筛选方法总结

					
热门推荐

				
			

			

				

					jliang3的博客
				

				

					03-30
					
					8万+
					
				

			

		

		

			
				
作者：jliang

https://blog.csdn.net/jliang3



1.特征选择介绍

1）特征分类

相关特征：对于学习任务（例如分类问题）有帮助，可以提升学习算法的效果；
	无关特征：对于我们的算法没有任何帮助，不会给算法的效果带来任何提升；
	冗余特征：不会对我们的算法带来新的信息，或者这种特征的信息可以由其他的特征推断出；
2）特征选择的目的

对于一个特定的学习算法...

			
		

	





	

		

			

				
					
精简模型，提升效能：线性回归中的特征选择技巧

					
最新发布

				
			

			

				

					deephub
				

				

					07-26
					
					3924
					
				

			

		

		

			
				
递归特征消除（RFE）、顺序前向选择（SFFS）、和顺序后向选择（SBFS）都表明，‘weight’、‘model year’和‘horsepower’是最重要的特征。仅使用这三个特征，我们就能获得可靠的 R² 分数0.823，与使用七个特征的基础模型相比，其 R² 分数也是0.823。（这些 R² 分数是从未在训练期间使用过的测试数据中获得的。这表明通过精确的特征选择，我们能够简化模型而不损失性能，从而提高模型的效率和可解释性。

			
		

	





	

		

			

				
					
《特征工程三部曲》之二：特征选择

				
			

			

				

					叫我二当家的专栏
				

				

					02-24
					
					428
					
				

			

		

		

			
				
什么特征选择

特征选择 ( Feature Selection )也称特征子集选择( Feature Subset Selection , FSS ) ，或属性选择( Attribute Selection ) ，是指从全部特征中选取一个特征子集，使构造出来的模型更好。
为什么要做特征选择


	在机器学习的实际应用中，特征数量往往较多，其中可能存在不相关的特征，特征之间也可能存在相互依赖，容易导致如下的后果：

	
		特征个数越多，分析特征、训练模型所需的时间就越长。
		
		
		特征个数越多，容

			
		

	





	

		

			

				
					
特征选择方法_scikit-learn中的特征选择方法

				
			

			

				

					weixin_39678531的博客
				

				

					11-24
					
					1298
					
				

			

		

		

			
				
根据特征选择的形式可以将特征选择方法分为3种：Filter：过滤法，按照发散性或者相关性对各个特征进行评分，设定阈值或者待选择阈值的个数，选择特征。Wrapper：包装法，根据目标函数（通常是预测效果评分），每次选择若干特征，或者排除若干特征。Embedded：嵌入法，先使用某些机器学习的算法和模型进行训练，得到各个特征的权值系数，根据系数从大到小选择特征。类似于Filter方法，但是是通过训练来...

			
		

	





	

		

			

				
					
3、特征选择(filter)：线性相关性的F检验

				
			

			

				

					qq_34120015的博客
				

				

					04-23
					
					4539
					
				

			

		

		

			
				
这里写目录标题一级目录二级目录三级目录
一级目录
二级目录
三级目录



			
		

	





	

		

			

				
					
机器学习 基础理论 学习笔记 （8）特征选择（feature selection）（一）

				
			

			

				

					酒心★
				

				

					12-28
					
					1万+
					
				

			

		

		

			
				
1.特征工程
特征选择是特征工程里的一个重要问题，其目标是寻找最优特征子集。特征选择能剔除不相关(irrelevant)或冗余(redundant )的特征，从而达到减少特征个数，提高模型精确度，减少运行时间的目的。另一方面，选取出真正相关的特征简化模型，协助理解数据产生的过程。并且常能听到“数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已”，由此可见其重要性。但是它几乎很少出现于机器学习书本里面的某一章。然而在机器学习方面的成功很大程度上在于如果使用特征工程。
考虑特征选择，是因为机器学习

			
		

	





	

		

			

				
					
sklearn入门——特征选择

				
			

			

				

					weixin_47037146的博客
				

				

					08-09
					
					1869
					
				

			

		

		

			
				
过滤法
过滤法是在机器学习训练之前进行的数据预处理，根据各种统计检验指标筛选出较好的特征子集。
方差过滤

VarianceThreshold类
通过特征的方差来筛选特征的类。有些特征的方差很小，所以要首先消除方差为0的特征。其中的参数threshold，表示方差的阈值，消除方差小于阈值的特征，默认值是0.
相关操作及注释：

import pandas as pd
import numpy as np
from sklearn.feature_selection import VarianceThresh

			
		

	





	

		

			

				
					
机器学习中特征选择的几种方法原理和代码实现（python）

				
			

			

				

					Chelseady的博客
				

				

					09-09
					
					5792
					
				

			

		

		

			
				
一.特征选择-单变量特征选择

1.SelectKBest可以依据相关性对特征进行选择，保留k个评分最高的特征。

方差分析

分类问题使用f_classif，回归问题使用f_regression。

f_classif：分类任务

跟目标的分类，将样本划分成n个子集，S1,S2,..,Sn，我们希望每个子集的均值μ1，μ2，...，μn不相等。

我们假设H0:μ1=μ2=...=μn，当...

			
		

	





	

		

			

				
					
【机器学习】sklearn特征选择（feature selection）

				
			

			

				

					高朗的博客
				

				

					10-13
					
					3452
					
				

			

		

		

			
				
特征选择 feature selection

			
		

	





	

		

			

				
					
特征选择与提取-过滤法

				
			

			

				

					lihe的博客
				

				

					12-29
					
					3055
					
				

			

		

		

			
				
特征抽取是数据挖掘任务最为重要的一个环节，一般而言，它对最终结果的影响要高过数据挖掘算法本身。
不幸的是，关于怎样选取好的特征，还没有严格、快捷的规则可循，其实这也是数据挖掘科学更像是一门艺术的所在。创建好的规则离不开直觉，还需要专业领域知识和数据挖 掘经验，光有这些还不够，还得不停地尝试、摸索，在试错中前进，有时多少还要靠点运气。通常特征数量很多，但我们只想选用其中一小部分。有如下几个原因。1、降低复杂度随着特征数量的增加，很多数据挖掘算法需要更多的时间和资源。减少特征数量，是提高算法运行速度，减少资源使

			
		

	





	

		

			

				
					
掌握Weka实现线性回归预测与数据预处理

				
			

			

				

					
				

			

		

		

			
				
机器学习中的线性回归是一种用于预测和分析的统计方法，旨在建立变量之间的线性关系。在数据分析和机器学习领域，线性回归是基础同时也是应用极为广泛的方法之一。接下来，我们将详细介绍如何使用Weka工具进行线性...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值