特征冗余

最新推荐文章于 2025-02-01 21:05:23 发布
最新推荐文章于 2025-02-01 21:05:23 发布
阅读量1.1w 收藏 39
点赞数 2
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yaphat/article/details/70659376
版权

做科研使用，比较乱。

1、对称不确定性（SU）

取值在（0，1）之间，值越大，X，Y之间相关性越大，当取值为0，表示X,Y之间相互独立，反之，代表之间具有强依赖性，意味着当知道其中一个变量就可以推测出另一个变量.

这里写图片描述

可以分为C-相关和F-相关，任何一个特征f和类别C之间的关系叫做C-相关，和任何其他特征之间的关系叫做F-相关

2、互信息

互信息可以看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不确定性。互信息本来是信息论中的一个概念,用于表示信息之间的关系, 是两个随机变量统计相关性的测度。

这里写图片描述

这里写图片描述

3、MRMR (最大相关最小冗余)

mRMR算法就是用来在保证最大相关性的同时，又去除了冗余特征的方法，相当于得到了一组“最纯净”的特征子集（特征之间差异很大，而同目标变量的相关性也很大）。
作为一个特例，变量之间的相关性（correlation）可以用统计学的依赖关系（dependency）来替代，而互信息（mutual information）是一种评价该依赖关系的度量方法。

这里写图片描述

这里写图片描述

4、一种思路
第一步采用Relief 对特征进行排序，得到每个特征的权重Wi,将特征小于阈值的删除，得到S1,然后对S1里的特征两两计算互信息，互信息大于一定阈值的删除权重较小的那个特征。

5、FCBF
使用了信息论中的对称不确定性 来衡量 2 个特征的相关性 ，结合 Markov blanket 技术删除冗余特征

6、相关性度量标准
常见的评估特征之间相关性的标准
1、Pearson correlation coefficients
2、Fisher score
3、ReliefF
4、mutual information
5、trace ratio

SCConv：用于特征冗余的空间和通道重构卷积
m0_47867638的博客
08-18 5329
代码链接：https://github.com/cheng-haha/ScConv论文链接：https://openaccess.thecvf.com/content/CVPR2023/papers/Li_SCConv_Spatial_and_Channel_Reconstruction_Convolution_for_Feature_Redundancy_CVPR_2023_paper.pdf。
Unet改进19：添加ScConv||用于特征冗余的空间和通道重构卷积
AIcurator的博客
09-02 1367
卷积神经网络(cnn)在各种计算机视觉任务中取得了显著的性能，但这是以巨大的计算资源为代价的，部分原因是卷积层提取冗余特征。最近的作品要么压缩训练有素的大型模型，要么探索设计良好的轻量级模型。在本文中，我们尝试利用特征之间的空间和通道冗余来进行CNN压缩，并提出了一种高效的卷积模块，称为SCConv (spatial and channel reconstruction convolution)，以减少冗余计算并促进代表性特征的学习。
机器学习中特征选择概述
学习笔记
07-18 6468
机器学习中特征选择概述
在特征选择时，如何判断哪些特征是冗余的？
借雨醉东风的博客
10-28 1180
关注我，持续分享逻辑思维&管理思维&面试题；不仅学会如何编程，还将学会如何将AI技术应用到实际问题中，为您的职业生涯增添一笔宝贵的财富。，让人能紧跟时代的浪潮。从普通网站，到公众号、小程序，再到AI大模型网站。通过上述步骤，可以有效地识别和处理特征选择中的冗余特征，从而提高模型的性能和效率。】里面有大量面试涉及的算法或数据结构编程题。有意找工作的同学，请参考博主的原创：《，目前已完成所有内容。或关注博主免费专栏【
设计心得——平衡和冗余
fpcc的专栏
02-01 992
软件设计不光是技术的问题，纯技术流往往会产生一种唯技术论的现象。软件的设计是一种现实与计算机交互融合的过程，往往涉及到技术之外的经济性、效率性、公平性等等具体的社会问题。软件设计是把软件的实现与实现世界结合起来，服务于现实世界，而不是一种独立存在。要始终明白，实际的需求才是软件技术发展的根本动力！
轻量级网络GhostNet--对卷积的新设计解决特征图冗余的问题
panghuzhenbang的博客
05-17 5215
论文地址：华为诺亚方舟实验室 2020 CVPR 《GhostNet: More Features from Cheap Operations》 该论文提供了一个全新的Ghost模块，旨在通过廉价操作生成更多的特征图。基于一组原始的特征图，作者应用一系列线性变换，以很小的代价生成许多能从原始特征发掘所需信息的“Ghost”特征图（Ghost feature maps）。该Ghost模块即插即用，通过堆叠Ghost模块得出Ghost bottleneck，进而搭建轻量级神经网络——GhostNet。
mrmr 最大关联度-最小冗余度 特征选择
banbuduoyujian的博客
03-05 7508
在做特征选择时，可能面临两个问题：特征与类别预测有多大相关性，特征之间有多大冗余度。在特征选择中，“最好的m个特征不一定是m个最好的特征”，从相关度与冗余度来看，最好的m个特征是指与分类最相关的特征，但由于最好的m个特征之间可能存在冗余，因此最相关的m个特征并不一定比其他m个特征产生更好的分类准确率。可以看出，特征选择可以分为两个过程：1、怎样度量特征相关性。2、怎样解决特征之间的冗余。 1、互信
机器学习中如何用筛选器检测冗余？
中科院计算所培训中心
01-10 964
筛选器试图在特征丛林中进行清洗，它独立于后续使用的任何机器学习方法。它基于统计方法找出冗余或无关特征。一般来讲，筛选器的工作流所图： 通过使用相关性，很容易看到特征之间的线性关系。这种关系可以用一条直线来拟合。在下面这些图中，我们可以看到不同程度的相关性，以及一个用红色虚线描绘出的潜在线性依赖关系（一个拟合的一维多项式）。每幅图上方的相关系数Cor（X1,X2）是用皮尔逊相关系数计算
SAE_deepsae_sae_冗余特征_autoencoder_降维_
09-29
这样，特征冗余度降低，模型的计算效率和泛化能力得到提升。 **3. 深入自编码器（Deep Autoencoder）** 深入自编码器是自编码器的多层版本，每个隐藏层都作为一个单独的自编码器层。通过增加网络深度，模型可以学习...
卷积神经网络的特征冗余
11-29
卷积神经网络的特征冗余是指在卷积神经网络中，由于卷积层的滤波器数量较多，每个滤波器又会生成一个特征图，这些特征图之间可能存在冗余信息，即某些特征图提取的信息与其他特征图提取的信息重复或高度相关。...
遗传退火算法：解决模式识别中的特征冗余高效策略
本文主要探讨了在模式识别领域中处理原始特征冗余问题的一种创新方法，即基于遗传算法和模拟退火算法的特征选择策略。作者刘素华、侯惠芳和李小霞，来自郑州工程学院计算机科学系，针对传统模式识别技术中特征数量...
去除特征图中的冗余：SPConv论文复现
m0_63642362的博客
07-31 2783
Split to Be Slim: An Overlooked Redundancy in Vanilla Convolution 论文复现,并给出对比实验
机器学习-特征选择
qq_41782791的博客
04-09 275
数据降维 1.特征选择 2.主成分分析 特征选择的原因：冗余：部分特征的相关度高，容易消耗计算性能 噪声：部分特征对预测结果有影响 1.1特征选择 方法：Filter(过滤式)variance Threshold 方差选择： 指定方差大小，比如删除低方差的特征，因为这样的特征数据波动小，无参考性 用VarianceThreshold做特征抽取 from sklearn.feature_selection import Var...
互信息特征评价准则
tangxianyu的博客
09-04 2953
本文引自西北工业大学杨宏晖老师的《模式识别之特征选择》 1、信息增益准则 对一个特征而言，系统有它和没有它时信息量将发生变化，而前后信息量的差值就是这个特征给系统带来的信息量，即增益。衡量标准是看特征能够为分类系统带来多少信息，带来的信息越多，该特征越重要。 识别系统中，特征的信息增益就是一个特征与类别的互信息，该互信息值越大，说明该特征与类别越相关，即该特征包含的分类信息越多，该特征也越重...
复现SCConv：用于特征冗余的空间和通重建卷积
m0_48476347的博客
12-14 2837
卷积神经网络（CNN）在各种计算机视觉任务中取得了显着的性能，但这是以巨大的计算资源为代价的，部分原因是卷积层提取了冗余特征。在中，作者设计了一个两步程序来利用中间特征图的冗余，其目标是在不损失性能的情况下减少参数数量和计算量。通过尝试对特征之间的空间和通道冗余进行 CNN 压缩，提出一种高效的卷积模块，称为 SCConv（空间和通道重建卷积），以减少冗余计算并促进代表性特征学习。它是一个即插即用的架构单元，可以直接用来替换各种卷积神经网络中的标准卷积，无需额外修改。
机器学习 第11章 特征选择与稀疏学习 概念总结与简单实践
Hey_yf的博客
03-20 587
一 解决的问题 跟第10章降维的思想相同，特征选择目的也是想减少用于计算的特征，尽可能从最少的特征得到准确的结果。 不过同降维不同的是，特征选择更关注特征本身是否有用，思路是只选取与问题求解有益的特征进行建模。由此，将特征划分为 相关特征、无关特征、冗余特征。 那么定义特征是否有用的标准是什么呢？ 可以借助于第8章的多样性度量进行比较，把Class的label作为一种划分，把属性的切分作为...
数据依赖与冗余 --《数据库》
南明离火的博客
04-06 605
数据依赖与冗余 --《数据库》
【深度残差收缩网络】从删除冗余特征时的灵活性进行探讨
ABCD_202020的博客
04-27 3286
本文解读了一种新的深度学习方法——深度残差收缩网络(Deep Residual Shrinkage Network)，加入了笔者自己的理解。 1.深度残差收缩网络的基础知识 从名字可以看出，深度残差收缩网络是深度残差网络的一种改进方法。其特色是“收缩”，在这里指的是软阈值化，而软阈值化几乎是现在信号降噪算法的必备步骤。 因此，深度残差收缩网络是一种面向含噪数据的深度学习方法，是信号处理里的经典内容...
特征选择：从冗杂数据中找出真金
a871923942的博客
06-28 333
特征选择，顾名思义，就是从原始特征中选择出最具有价值的那些特征。好的特征能够帮助模型提升预测准确度，捕捉到数据中的主要趋势，并且降低过拟合的风险。简化模型：减少特征数量能使模型更简单，更容易解释。提升性能：去掉无关特征或冗余特征可以提升模型预测性能。加速训练：减少特征数量可以加速模型训练和预测。减少过拟合：通过减少不相关的特征，可以降低模型过拟合的风险。
标准卷积特征提取过程特征冗余
最新发布
03-15
### 卷积神经网络特征提取过程中的冗余减少方法 在标准卷积神经网络（CNN）的特征提取过程中，通过特定的设计原则和技术手段可以有效减少特征冗余。以下是几种主要的方法： #### 1. **局部感知野** 传统的全连接神经网络中，每个隐藏层神经元会对输入的所有像素点作出响应，这种方式引入了大量的冗余连接[^1]。而在卷积神经网络中，采用的是局部感知野的概念，即每个神经元仅对输入的一个小区域敏感并作出反应。这种方法显著减少了不必要的计算量和参数数量。 #### 2. **稀疏连接** 卷积层实现了稀疏连接的思想，使得每一层的输出只依赖于前一层的部分单元而不是全部单元。这样的设计不仅降低了复杂度，还帮助模型专注于重要的局部模式而非全局无意义的信息[^3]。 #### 3. **权值共享机制** 另一个重要特性是权值共享，它意味着同一卷积核在整个输入空间重复应用相同的权重来进行滤波操作。这一策略极大地削减了自由参数的数量，同时增强了泛化能力，因为它假设不同位置具有相似性的统计性质。 #### 4. **池化操作** 除了上述提到的技术外，池化层也是降低维度以及去除多余细节的有效工具之一。最大池化(Max Pooling)或者平均池化(Average Pooling)，它们通过对相邻感受域内的数值取极值或均值的方式进一步压缩数据规模，保留最重要的信息的同时丢弃次要变化[^4]。 ```python import torch.nn as nn class SimpleCNN(nn.Module): def __init__(self): super(SimpleCNN, self).__init__() self.conv_layer = nn.Conv2d(in_channels=3, out_channels=64, kernel_size=3, stride=1, padding=1)[^3] self.pool_layer = nn.MaxPool2d(kernel_size=2, stride=2) def forward(self, x): x = self.conv_layer(x) x = self.pool_layer(x) return x ``` 以上代码片段展示了一个简单版本的卷积神经网络架构，其中包括了卷积层用于特征抽取以及池化层用来降维处理。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值