特征选择过滤器 - f_regression（单变量线性回归测试）

最新推荐文章于 2023-11-28 10:59:20 发布
最新推荐文章于 2023-11-28 10:59:20 发布
阅读量6k 收藏 11
点赞数 4
文章标签： python 算法 线性代数 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46072771/article/details/106183977
版权
本文介绍了在特征选择中使用f_regression方法进行单变量线性回归测试的数学原理和步骤。该方法计算特征与目标变量的关联性，通过相关性转化为F分数并得到p值，用于评估特征的重要性。
摘要由CSDN通过智能技术生成

文章目录


官方网站： sklearn.feature_selection.f_regression 

sklearn.feature_selection.f_regression（X，y，center = True ）

数学原理

单变量线性回归测试。

用于测试许多回归变量各自的效果的线性模型。这是要在特征选择过程中使用的评分功能，而不是独立式特征选择过程。

分两个步骤完成：

  1. 计算每个回归变量与目标之间的相关性，即（（（X [:, i]-mean（X [:, i]））（y-mean_y））/（std（X [:, i] ） std（y））。

  2. 将其转换为F分数，然后转换为p值。

参数说明


                

                
                
        

        

    




        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  壮壮不太胖^QwQ
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    4
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    11
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      










                



	

		

			

				
					
特征选择方法_scikit-learn中的特征选择方法

				
			

			

				

					weixin_39678531的博客
				

				

					11-24
					
					1221
					
				

			

		

		

			
				
根据特征选择的形式可以将特征选择方法分为3种：Filter：过滤法，按照发散性或者相关性对各个特征进行评分，设定阈值或者待选择阈值的个数，选择特征。Wrapper：包装法，根据目标函数（通常是预测效果评分），每次选择若干特征，或者排除若干特征。Embedded：嵌入法，先使用某些机器学习的算法和模型进行训练，得到各个特征的权值系数，根据系数从大到小选择特征。类似于Filter方法，但是是通过训练来...

			
		

	



                

              
                



	

		

			

				
					
Sklearn中的f_classif和f_regression

					
热门推荐

				
			

			

				

					jetFlow的博客
				

				

					12-24
					
					2万+
					
				

			

		

		

			
				
这两天在看Sklearn的文档，在feature_selection一节中遇到俩f值，它们是用来判断模型中特征与因变量的相关性的。刚开始看的时候一头雾水，因为需要数理统计中方差分析的背景，现在在这里简要剖析一下这两个方法的原理和用法。

			
		

	



                


  
              

                


	

		

			

				
					
F_REGRESSION

				
			

			

				

					qq_36833848的博客
				

				

					10-29
					
					1271
					
				

			

		

		

			
				
https://blog.csdn.net/jetFlow/article/details/78884619



			
		

	





	

		

			

				
					
sklearn库学习--SelectKBest 、f_regression

				
			

			

				

					weixin_63016274的博客
				

				

					03-16
					
					4715
					
				

			

		

		

			
				
sklearn库学习--SelectKBest 、f_regression

			
		

	



		

			
		



	

		

			

				
					
《特征工程三部曲》之二：特征选择

				
			

			

				

					叫我二当家的专栏
				

				

					02-24
					
					390
					
				

			

		

		

			
				
什么特征选择

特征选择 ( Feature Selection )也称特征子集选择( Feature Subset Selection , FSS ) ，或属性选择( Attribute Selection ) ，是指从全部特征中选取一个特征子集，使构造出来的模型更好。
为什么要做特征选择


	在机器学习的实际应用中，特征数量往往较多，其中可能存在不相关的特征，特征之间也可能存在相互依赖，容易导致如下的后果：

	
		特征个数越多，分析特征、训练模型所需的时间就越长。
		
		
		特征个数越多，容

			
		

	





	

		

			

				
					
单变量线性回归测试

				
			

			

				

					04-24
				

			

		

		

			
				
用于单变量线性回归测试的一个数据集。单变量线性回归的代码在另一篇博文中可见。

			
		

	





	

		

			

				
					
机器学习 基础理论 学习笔记 （8）特征选择（feature selection）（一）

				
			

			

				

					酒心★
				

				

					12-28
					
					1万+
					
				

			

		

		

			
				
1.特征工程
特征选择是特征工程里的一个重要问题，其目标是寻找最优特征子集。特征选择能剔除不相关(irrelevant)或冗余(redundant )的特征，从而达到减少特征个数，提高模型精确度，减少运行时间的目的。另一方面，选取出真正相关的特征简化模型，协助理解数据产生的过程。并且常能听到“数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已”，由此可见其重要性。但是它几乎很少出现于机器学习书本里面的某一章。然而在机器学习方面的成功很大程度上在于如果使用特征工程。
考虑特征选择，是因为机器学习

			
		

	





	

		

			

				
					
3、特征选择(filter)：线性相关性的F检验

				
			

			

				

					qq_34120015的博客
				

				

					04-23
					
					4180
					
				

			

		

		

			
				
这里写目录标题一级目录二级目录三级目录
一级目录
二级目录
三级目录



			
		

	





	

		

			

				
					
sklearn入门——特征选择

				
			

			

				

					weixin_47037146的博客
				

				

					08-09
					
					1757
					
				

			

		

		

			
				
过滤法
过滤法是在机器学习训练之前进行的数据预处理，根据各种统计检验指标筛选出较好的特征子集。
方差过滤

VarianceThreshold类
通过特征的方差来筛选特征的类。有些特征的方差很小，所以要首先消除方差为0的特征。其中的参数threshold，表示方差的阈值，消除方差小于阈值的特征，默认值是0.
相关操作及注释：

import pandas as pd
import numpy as np
from sklearn.feature_selection import VarianceThresh

			
		

	





	

		

			

				
					
机器学习中特征选择的几种方法原理和代码实现（python）

				
			

			

				

					Chelseady的博客
				

				

					09-09
					
					5574
					
				

			

		

		

			
				
一.特征选择-单变量特征选择

1.SelectKBest可以依据相关性对特征进行选择，保留k个评分最高的特征。

方差分析

分类问题使用f_classif，回归问题使用f_regression。

f_classif：分类任务

跟目标的分类，将样本划分成n个子集，S1,S2,..,Sn，我们希望每个子集的均值μ1，μ2，...，μn不相等。

我们假设H0:μ1=μ2=...=μn，当...

			
		

	





	

		

			

				
					
【机器学习】sklearn特征选择（feature selection）

				
			

			

				

					高朗的博客
				

				

					10-13
					
					2801
					
				

			

		

		

			
				
特征选择 feature selection

			
		

	





	

		

			

				
					
方差分析（F检验）用于特征选择的Python实现

					
最新发布

				
			

			

				

					m0_72274883的博客
				

				

					11-28
					
					2100
					
				

			

		

		

			
				
方差分析（F检验）又称ANOVA，方差齐性检验，是一种用来捕捉每个特征变量与响应变量之间线性关系的过滤方法，实现路径是针对两个及两个以上分组的样本均值进行差异显著性检验。

			
		

	





	

		

			

				
					
线性回归的特征筛选方法

				
			

			

				

					qq_38844711的博客
				

				

					12-13
					
					4414
					
				

			

		

		

			
				
https://zhuanlan.zhihu.com/p/61224180
在特征选择中，最适合在探索阶段使用的就是过滤式的方法，比如方差阈值法和单变量选择法。在上一篇文章中我们介绍了如何在sklearn中使用方差阈值法，那么今天我们就进一步介绍更加实用、有效的单变量选择法。
sklearn中的单变量选择法
单变量选择法的主要思路是根据某些统计检验的方法分别对每个变量进行检验，得到一组分数、p-v...

			
		

	





	

		

			

				
					
特征选择与提取-过滤法

				
			

			

				

					lihe的博客
				

				

					12-29
					
					2760
					
				

			

		

		

			
				
特征抽取是数据挖掘任务最为重要的一个环节，一般而言，它对最终结果的影响要高过数据挖掘算法本身。
不幸的是，关于怎样选取好的特征，还没有严格、快捷的规则可循，其实这也是数据挖掘科学更像是一门艺术的所在。创建好的规则离不开直觉，还需要专业领域知识和数据挖 掘经验，光有这些还不够，还得不停地尝试、摸索，在试错中前进，有时多少还要靠点运气。通常特征数量很多，但我们只想选用其中一小部分。有如下几个原因。1、降低复杂度随着特征数量的增加，很多数据挖掘算法需要更多的时间和资源。减少特征数量，是提高算法运行速度，减少资源使

			
		

	





	

		

			

				
					
Sklearn学习_03特征选择

				
			

			

				

					student_thon的博客
				

				

					05-06
					
					497
					
				

			

		

		

			
				
1



			
		

	





	

		

			

				
					
特征选择

				
			

			

				

					weixin_33672109的博客
				

				

					04-24
					
					195
					
				

			

		

		

			
				
1, 去掉取值变化小的特征（Removing features with low variance）

sklearn.feature_selection.VarianceThreshold(threshold=0.0)

2, 单变量特征选择（Univariate feature selection）

sklearn.feature_selection.SelectKBest...

			
		

	





	

		

			

				
					
Python数据挖掘学习12特征的预处理（总）

				
			

			

				

					任萌新的小生活
				

				

					04-17
					
					1068
					
				

			

		

		

			
				
特征工程指的是把原始数据转变为模型的训练数据的过程，它的目的就是获取更好的训练数据特征，使得机器学习模型逼近这个上限。特征工程能使得模型的性能得到提升，有时甚至在简单的模型上也能取得不错的效果。

“数据决定了机器学习的上限，而算法只是尽可能逼近这个上限”，说明了数据的质量和数量是非常关键的，甚至比算法本身更重要，例如：如果做一个识别猫的，如果能把所以猫的图片都收集了，那么不需要算法就可以识别...

			
		

	





	

		

			

				
					
sklearn实现特征选择--过滤法（通过方差、f_regression、卡方）

				
			

			

				

					qq_35358021的博客
				

				

					11-16
					
					7433
					
				

			

		

		

			
				
import numpy as np
from sklearn.feature_selection import VarianceThreshold.SelectKBest
from sklearn.feature_selection import f_regression
from sklearn.feature_selection import chi2
from sklearn.featur...

			
		

	





	

		

			

				
					
数据预处理-相关性过滤（F检验和互信息法）

				
			

			

				

					weixin_41798592的博客
				

				

					09-25
					
					7502
					
				

			

		

		

			
				
F检验
     F检验，又称ANOVA，方差齐性检验，是用来捕捉每个特征与标签之间的线性关系的过滤方法。它即可以做回归也可以做分类，因此包含feature_selection.f_classif（F检验分类） 和 feature_selection.f_regression（F检验回归）两个类。其中F检验分类用于标签是离散型变量的数据，而F检验回...

			
		

	





	

		

			

				
					

				
			

			

				

					
				

			

		

		

			
				

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值