机器学习基础 之 特征选择和稀疏学习

最新推荐文章于 2022-10-23 13:50:55 发布
VIP文章 最新推荐文章于 2022-10-23 13:50:55 发布
阅读量617 收藏
点赞数
分类专栏： 人工智能 读后感 人工智能技术 文章标签： 机器学习 特征选择 稀疏表示 字典学习 压缩感知
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/suoxd123/article/details/89163397
版权

文章目录


转自： https://www.zhenxiangsimple.com/2019/04/09/tech-ml-tzxsxx/

特征选择

  特征选择可以理解为降维（点击查看文章），就是在样本的众多属性数据中选择部分属性或特征作为学习的数据，常见的特征选择分为过滤式、包裹式和嵌入式三类。一方面可以减轻后期学习的计算量，尽量避免维数灾难问题，另一方面，可以降低学习难度，毕竟维数减少后使用较少的维度更容易找到样本之间的关系。

1.过滤式选择

  指先对数据集进行特征选择，

最低0.47元/天 解锁文章
放羊郎
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
机器学习入门学习笔记（八）特征选择与稀疏学习
chengdong996的博客
08-14 1372
一、 特征 我们将属性称为 “特征” (feature)。 相关特征(relevant feature)：对当前学习任务有用的属性。 无关特征(irrelevant feature)：与当前学习任务无关、没什么用的属性。 从给定的特征集合中选择出相关特征子集的过程，称为“特征选择”(feature selection)。 特征选择是一个重要的 “数据预处理”（data preprocessing)过程，在现实机器学习任务中，获得数据之后通常先进行特征选择，此后再训练学习器。那么，为什么要进行特征选择呢? 1
机器学习基础（四）：特征选择与稀疏学习
zero_ling
09-25 1071
4、特征选择与稀疏学习 对一个学习任务来说，给定属性集，其中有些属性可能很关键、很有用，另一些则可能没什么用。将属性称为特征feature，则对当前学习任务有用的属性称为相关特征relevant feature，没什么用的属性称为无关特征feature selection（有一类特征称为冗余特征redundant feature，所包含的信息能从其他特征中推演出来，它很多时候不起作用，但也有时候可恰好对应完成学习任务所需的中间概念，是有益的） →获得数据后通常先进行特征选择（数据预处理过程），此后再训练学习
特征选择与稀疏学习详解
tt丫的博客
10-23 1681
对当前学习任务有用的属性从特征集合中选取出相关特征，是一种数据预处理过程。先对数据集进行特征选择，然后再训练学习器，特征选择过程与后续学习器无关。直接把最终将要使用的学习器的性能作为特征子集的评价准则，即目的是为给定学习器选择最有利于其性能的量身定做的特征子集。A、随机产生一个特征子集A'，然后计算在A'下学习器L的误差；B、如果（这个误差比之前得到的误差都要小）或者（误差差不多但是A‘中的特征数目更少），那么我们更新最终的特征子集为A’，并记下它的误差和特征数目；
《机器学习》第十一章 特征选择与稀疏学习
weixin_43958728的博客
02-02 950
11.1 子集搜索与评价 相关特征：对当前的学习任务有用的特征； 无关特征：对当前的学习任务无用的特征； 冗余特征：可以被其他特诊表示的特征。 目标：找到相关特征构成的集合，实现降低维度，增加准确率的目的。 问题：如何去寻找最优的子集？如何评价子集的优良？ 子集搜索：以迭代的方式，通过不断的增加（减少）新的特征来找到最优子集。 增加：已得到子集A，未处理子集B，AUB=全集 ，A∩B=∅，从B中依...
特征选择与稀疏学习
luckmia的博客
07-17 1万+
一、子集搜索与评价 一般地，我们可以用很多属性/特征来描述一个示例，例如对于一个人可以用性别、身高、体重、年龄、学历、专业、是否吃货等属性来描述，那现在想要训练出一个学习器来预测人的收入。根据生活经验易知：并不是所有的特征都与学习任务相关，例如年龄/学历/专业可能很大程度上影响了收入，身高/体重这些外貌属性也有较小的可能性影响收入，但像是否是一个地地道道的吃货这种属性就八杆子打不着了。因此我们只...
机器学习基于高维稀疏特征以及样本不平衡的银行信贷违约检测python源码.zip
08-10
机器学习基于高维稀疏特征以及样本不平衡的银行信贷违约检测python源码.zip 机器学习基于高维稀疏特征以及样本不平衡的银行信贷违约检测python源码.zip 机器学习基于高维稀疏特征以及样本不平衡的银行信贷违约检测...
机器学习面试复习资源集合
最新发布
04-20
（三）特征选择 过滤法、包装法、嵌入法 Kaggle中的代码实战 二、算法基础 （一）评价指标 PR曲线和F1 & ROC曲线和AUC AUC & GAUC （二）正则项 正则化与数据先验分布的关系 L1在0点处不可导怎么办？可采用坐标轴...
基于机器学习的作物病害图像处理及病变识别方法研究
04-27
拓展了机器学习理论及其应用范畴，构造了基于机器学习的作物病变图像识别的数据结构和算法范形。最后，将提出的理论和设计方法应用于工厂化果园生产场景采集的苹果病害图像识别并进行算法级别实验验证，为面向深度...
深度学习期末复习资料，绪论，机器学习基础，前馈神经网络，深度模型优化，正则化，卷积神经网络，循环神经网络
10-10
绪论（人工智能到机器学习到深度学习，机器学习三要素，神经网络的三起两落，大模型），机器学习基础（梯度下降算法、数学、线代基础，线性模型，感知机），前馈神经网络（BP），深度模型优化（非凸优化，学习率，...
深度学习基础，英文原版+中文翻译
07-10
1.稀疏自编码器 神经网络 反向传导算法 梯度检验与高级优化 自编码算法与稀疏性 ...5.自我学习与无监督特征学习 6.建立分类用深度网络 7.自编码线性解码器 8.处理大型图像 9.稀疏编码 10.独立成分分析样式建模
图像傅里叶变换的幅度谱、相位谱以及双谱重构原图像
热门推荐
逸凌Time
03-20 2万+
简单的求取下灰度图像的幅度谱和相位谱并进行双谱重构： 直接上代码： clear all Picture = imread('E:\others\Picture\Library.jpg'); Picture_Gray = rgb2gray(Picture);%灰度处理 Picture_FFT = fft2(Picture_Gray);%傅里叶变换 Picture_FFT_Shift = ffts...
《机器学习》（西瓜书）第11章 特征学习与稀疏学习理解记录
weixin_43749999的博客
09-20 449
11.1 子集搜索与评价 对当前任务有关的属性称为相关特征，对当前任务没有关系的属性称为无关特征。 从给定的特征集合中选择相关特征子集的过程称为特征选择。 使用特征选择的目的： 由于数据预处理之后生成的特征矩阵的维数很高，会有维数灾难出现。使用特征子集可以一定程度上避免维数灾难的出现。 使用特征子集可以降低模型训练的难度。 还有一种特征称为冗余特征，这种特征是可以使用其他特征表示出来的。 冗余特征在很多时候不起作用，去除掉之后可以减轻学习的负担。 但是有的时候冗余特征却可以降低学习的难度。
机器学习（11） -- 特征选择与稀疏学习
weixin_43575791的博客
04-12 686
11.1 子集搜索与评价 特征选择：从给定的特征集中选择出相关特征子集的过程。特征选择过程必须确保不丢失重要特征。 处理高维数据两大主流技术：降维，特征选择 无关特征：与当前学习任务无关 冗余特征：它们所包含的特征能从其他特征中推演出来。有时候不起作用，去除减轻学习负担；有时候会降低学习任务的难度。若某冗余特征恰好对应了完成学习任务所需的“中间概念”，则该冗余特征是有益的 子集搜索...
【周志华机器学习】十一、特征选择与稀疏学习
weixin_42301220的博客
04-09 1612
文章目录参考资料前言1. 子集搜索与评价1.1 特 征 选 择1.2 特征选择原因1.3 子集搜索与子集评价1.3.1 子集搜索1.3.2 子集评价2. 过滤式选择（Relief）2.1 Relief算法核心2.2 拓展变体：Relief-F算法3. 包裹式选择（LVW）4. 嵌入式选择与正则化4.1 L1范数与L2范数理解5. 稀疏表示与字典学习6. 压缩感知 参考资料 Machine-learning-learning-notes LeeML-Notes ML-NLP 本博客是根据周志华的西瓜书
稀疏表示学习
Touch_Dream的博客
04-25 1万+
1.提出问题：什么是稀疏表示 假设我们用一个M*N的矩阵表示数据集X，每一行代表一个样本，每一列代表样本的一个属性，一般而言，该矩阵是稠密的，即大多数元素不为0。 稀疏表示的含义是，寻找一个系数矩阵A（K*N）以及一个字典矩阵B（M*K），使得B*A尽可能的还原X，且A尽可能的稀疏。A便是X的稀疏表示。 书上原文为（将一个大矩阵变成两个小矩阵，而达到压缩） “为普通稠密表达的样
机器学习中的稀疏表示与字典学习
Xiaoyu Mo
09-02 2483
当样本具有稀疏表达形式时，对学习任务来说会有不少好处。例如线性支持向量机之所以能在文本数据上有很好的性能，恰是由于文本数据在使用字频表述后具有高度的稀疏性，使得大多数的问题变得线性可分。同时，稀疏样本并不会造成存储上的巨大负担，因为系数矩阵 已有很多高效的存储方法。 那么，若给定数据集 D  是稠密的，即普通非稀疏数据，能否将其转化为“稀疏表示”形式，从而享有稀疏性所带来的好处呢？这是我们想要学
机器学习常见问题及解决方案——特征选择方法
lovejay7的博客
07-17 5154
1、特征工程 数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已，特征工程就是最大限度地从原始数据中提取特征以供算法和模型使用，通过归纳和总结，特征工程大体包含以下方面： 特征处理是特征工程的核心部分，scikit-learn提供了较为完整的特征处理方法，包括数据预处理、特征选择、降维等。 2、数据预处理 通过特征提取，我们能得到未处理的特征，这是的特征有以下显著特点...
周志华《Machine Learning》学习笔记（13）--特征选择与稀疏学习
VAY-长跑
06-04 1万+
上篇主要介绍了经典的降维方法与度量学习，首先从“维数灾难”导致的样本稀疏以及距离难计算两大难题出发，引出了降维的概念，即通过某种数学变换将原始高维空间转变到一个低维的子空间，接着分别介绍了kNN、MDS、PCA、KPCA以及两种经典的流形学习方法，最后度量学习试图去学习出一个距离度量来等效降维的效果。本篇将讨论另一种常用方法–特征选择与稀疏学习。
机器学习算法竞赛实战
08-18
参考中的资源提到了一些常见的机器学习算法，包括K近邻算法、线性回归算法、逻辑回归算法和支持向量机(SVM)。这些算法都是监督学习的一部分，可以在机器学习算法竞赛中应用。此外，参考中的资源是关于Matlab算法学习指南，其中涵盖了信号处理、图像处理、数值计算和机器学习等领域的常见题型和算法示例。这些资源提供了详细的描述、示例代码和讲解，对于对Matlab算法和应用感兴趣的人群是非常有用的。另外，引用中提到了XGBoost算法的一些主要特点，包括稀疏感知算法、近似树学习、并行计算和核外计算等。XGBoost算法在机器学习算法竞赛中也是一个非常流行的选择。所以，在机器学习算法竞赛实战中，你可以考虑使用K近邻算法、线性回归算法、逻辑回归算法、支持向量机(SVM)和XGBoost算法等。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [机器学习算法基础（实战）](https://blog.csdn.net/weixin_42430904/article/details/82948030)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"] - *2* [Matlab算法学习指南（数值计算、机器学习、信号处理、图像处理）](https://download.csdn.net/download/weixin_41784475/88221221)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"] - *3* [《机器学习算法竞赛实战》整理 | 五、模型训练](https://blog.csdn.net/qq_37039382/article/details/124541131)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

放羊郎

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值