数据挖掘的最关键环节 | 数据预处理之特征选择、异常值处理、特征构造

最新推荐文章于 2024-08-14 11:32:11 发布
最新推荐文章于 2024-08-14 11:32:11 发布
阅读量3.6k 收藏 13
点赞数 3
分类专栏： 机器学习 文章标签： 大数据 数据预处理 异常值
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_30262201/article/details/79544888
版权
机器学习 专栏收录该内容
34 篇文章 101 订阅 ¥49.90 ¥99.00
订阅专栏
本文详细介绍了数据预处理的关键环节，包括特征选择的目的、方法及策略，如filter、wrapper和embedded方法，以及评价规则。同时，讨论了异常值的产生原因、检测方法和处理策略，提供了不同场景下的处理建议。此外，还提及了特征构造的重要性，如信息一致性的判断、字段拆分、加工计算和组合等。
摘要由CSDN通过智能技术生成

百度金融的面试，一面问到了特征选择的相关问题，问我如何做特征选择，前两天又有同事问到，觉得有必要整理一下相关内容。

一、特征选择

特征选择的目的
  • 提高预测准确性
  • 构造效率更高的预测模型
  • 能够对模型有更好的理解和解释
特征选择的方法
  • 过滤式、Filter方法：给每一维的特征赋权重
  • 封装式、wrapper方法：将子集的选择抽象成优化问题，对不同的组合进行比较
  • 嵌入式、Embedded方法：挑选出对模型的训练有重要意义的属性
三种策略
  • 从特征集中找到一个特征子集X，使评价函最大
  • 给定阈值J0，从特征集中找到一个最小子集X，使得J（X）>J0
  • 从特征集中找到一个特征子集X，使评价函数尽量大，子集中的特征尽量少

目标：J(X)尽量大，特征数尽量少

评价规则
1.filter方法
  • 距离度量：欧氏距离
  • 信息增益度量：信
了解本专栏 订阅专栏 解锁全文
大数据AI笔记
关注
专栏目录
订阅专栏
数据挖掘中的数据预处理技术.pdf
07-14
数据清洗的目的是发现并纠正这些错误，处理数据中的异常值和缺失值。常见的数据清洗方法包括填充缺失值、平滑噪声数据、修正错误、删除重复记录等。 2. 数据集成（Data Integration）：企业中的数据往往存储在不同...
数据预处理之特征选择
xzfreewind的博客
08-11 8137
特征选择的意义在对数据进行异常值、缺失值、数据转换等处理后，我们需要从当前数据集中选出有意义的特征，然后输入到算法模型中进行训练。对数据集进行特征选择主要基于以下几方面的考虑：1.冗余的特征会影响阻碍模型找寻数据潜在的规律，若冗余的特征过多，还会造成维度容灾，占用大量的时间空间，使算法运行效率大打折扣。2.去除不相关的特征会降低学习任务的难度，保留关键的特征更能直观的看出数据潜在的规律。
大数据导论第二章——数据预处理与特征工程
weixin_44587086的博客
11-22 2176
一、数据预处理 数据预处理的目标* 数据预处理的目标就是要从数据分析要解决的问题出发，产生高质量的、能够满足分析需求、提高分析质量的数据集。 从现实生活中收集到的原始数据都是低质量的数据集，会存在数据缺失、有噪音等问题；而用低质的数据直接进行分析得到的分析结果也是低质的。为了得到可靠的分析结果，首先得有高质量的数据集，因此数据预处理的目标就是得到高质量的数据集。 评价数据集的指标：（从数据收集与数据处理两个角度来确定评价指标） 数据收集： 适用性。数据必须适用于我们所研究问题。比如研究儿童身高和年龄
基础入门数据挖掘-特征工程
最新发布
2202_75519660的博客
08-14 233
异常处理：通过箱线图（或 3-Sigma）分析删除异常值；BOX-COX 转换（处理有偏分布）；Box-Cox 转换是一种统计方法，用于使数据更接近正态分布，常用于满足线性回归模型和其他统计分析方法的前提条件。该转换由统计学家 George Box 和 David Cox 提出，用于处理数据的非正态性和异方差性。长尾截断；特征归一化/标准化：标准化（转换为标准正态分布）；归一化（抓换到 [0,1] 区间）；针对幂律分布这种分布中，大量事件集中在较小的数值范围，而较大的数值则较少见，
第十一章 特征选择
tiezhongyu2010的博客
06-26 1463
1、简述特征选择的目的。 特征选择是一个重要的“数据预处理”过程，在现实机器学习任务中，获得数据之后通常先进行特征选择，此后再训练学习机器。我们进行特征选择主要有以下两个重要目的： 减轻维数灾难 我们在现实任务中经常会遇到维数灾难问题，这是由于属性过多而造成的，若能从中选择出重要的特征，使得后续学习过程仅需在一部分特征上构建模型，则维数灾难问题会大为减轻。从这个意义上来说，特征选择与第十章介绍的降维有相似的动机。 降低学习任务的难度 去除不相关的特征往往会降低学习任务的难度，这就像侦探破案一样，若将纷
数据挖掘：特征工程——特征提取与选择
热门推荐
AvenueCyy的博客
02-25 1万+
数据挖掘：特征工程——特征降维与选择 特征的处理和构建已经在上一篇特征处理和构建文章中有所总结。接来下对特征降维和选择进行说明。 一、什么是特征降维与特征选择？ 一般经过特征处理和生成后，会产生大量的特征，而这些特征中有的特征是很重要的，但不是每一项特征都对模型有用，因此，要将这类没用的特征剔除掉。所以，特征降维与特征选择的主要目的就是为了剔除无用的特征。 之前一直有个疑惑，既然特征降维与特征选择...
Python数据分析之特征处理笔记三——特征预处理（特征选择）
qq_54412734的博客
10-03 5424
书接上文，进行数据清洗过程后，我们得到了没有空值、异常值、错误值的数据，但想要用海量的数据来建立我们所需要的算法模型，仅仅是数据清洗的过程是不够的，因为有的数据类型是数值，有的是字符，怎样将不同类型的数据联系起来？以及在保证最大化信息量的前提下，怎样得到便于分析的数据？这就是特征预处理要做的工作。
基于属性拓展的数据挖掘预处理技术研究.pdf
07-14
当前数据挖掘技术主要依赖于原始数据库中的信息进行分析，数据预处理则主要是对原始数据进行简单的标准化处理、数据平滑、异常值检测、缺失值修复以及数据离散化等基本操作，以便维持原始数据库的基本信息不变。...
数据预处理的概念及应用
05-02
数据预处理作为数据分析和挖掘的重要环节，其目的是为了提高数据质量，确保后续分析的有效性和准确性。下面将详细探讨数据预处理的关键概念及其应用场景。 ### 一、数据预处理概述 数据预处理（Data Preprocessing...
大数据分析与挖掘课程 数据挖掘（第三版）教程 纯英文原版PPT课件 第03章Preprocessing-预处理共64页.pptx
06-30
数据预处理是数据挖掘过程中的关键步骤之一，旨在提高数据质量，确保后续的数据分析或挖掘任务能够基于准确可靠的数据进行。 数据预处理主要包括以下几个方面： 1. **数据清洗**：处理缺失值、平滑噪声数据、识别...
常用数据挖掘算法总结及Python实现.pdf
03-10
第六部分，Python数据预处理，讲述了如何使用Python进行数据清洗、缺失值处理、标准化和归一化等预处理步骤，这是任何数据挖掘项目中必不可少的环节。 第七部分，数据结构与算法，讲解了如数组、链表、树、图等基本...
数据挖掘：数据清洗——异常值处理
01-20
数据挖掘：数据清洗——异常值处理 一、离群点是什么？ 离群点，是一个数据对象，它显著不同于其他数据对象，与其他数据分布有较为显著的不同。有时也称非离群点为“正常数据”，离群点为“异常数据”。 离群点跟噪声数据不一样，噪声是被观测变量的随机误差或方差。一般而言，噪声在数据分析（包括离群点分析）中不是令人感兴趣的，需要在数据预处理中剔除的，减少对后续模型预估的影响，增加精度。 离群点检测是有意义的，因为怀疑产生它们的分布不同于产生其他数据的分布。因此，在离群点检测时，重要的是搞清楚是哪种外力产生的离群点。 常见的异常成因: 数据来源于不同的类（异常对象来自于一个与大多数数据对象源（类）不同的源（类
数据挖掘技术-检测与处理异常值
u011062044的博客
10-23 917
print('销售量最小值为：', detail['counts'].min())print('销售量最大值为：', detail['counts'].max())print('售价最小值为：', detail['amounts'].min())print('售价最大值为：', detail['amounts'].max())print('异常值的最大值为：',outlier.max())print('异常值的最小值为：',outlier.min())plt.savefig('菜品异常数据识别.png')
数据挖掘项目的特征和关键环节
weixin_34081595的博客
10-09 352
features and key processes of data mining project chen hua-ying civil aviation flight university of china abstract: data mining technology attracts increasingly focus as the nat...
Hive 2.3.7 insert overwrite 清空表
E_Possible的博客
10-18 1636
1.原数据全是null的情况（能清空） hive> select * from testNull; OK NULL NULL NULL Time taken: 0.08 seconds, Fetched: 3 row(s) hive> insert overwrite table testNull select * from testNull where 1=0; hive> select * from testNull; OK Time taken: 0.089 seconds 2.原
python中异常值的检测和处理
AndersonHuang的博客
12-08 6674
通常，咱们做数据挖掘的时候经常免不了会遇到异常值检测或者异常值处理等步骤，那么什么是异常值呢？如何检测数据中是否存在异常值？如何处理数据中的异常值？本文专门探究一下这些问题。，是指那些在数据集中存在的不合理的值，需要注意的是，不合理的值是偏离正常范围的值，不是错误值。：数据集中的异常值可能是由于传感器故障、人工录入错误或异常事件导致。
【python】数据挖掘分析清洗——离群点(异常值)处理方法汇总
weixin_47058355的博客
04-23 9725
异常值处理的意义在于提高数据分析的准确性和可靠性。异常值往往会影响数据的统计特征，如平均值、方差等，从而导致错误的结论或预测结果。此外，异常值还可能干扰模型的拟合效果，使得模型对数据的解释能力变弱。因此，对于数据分析任务，我们通常需要进行异常值处理，以尽可能保证数据的质量和准确性。常用的异常值处理方法包括删除异常值、替换异常值、将异常值视为缺失值等。具体方法需要根据数据类型和任务要求来选择和实施。传送门。
[数据分析学习笔记] 数据预处理
梅森上校的博客 业精于勤荒于嬉，形成于思毁于随。
04-07 1838
数据分析学习笔记 —— 数据预处理 数据预处理一方面是要提高数据的质量，另一方面是要让数据更好地适应特定的挖掘技术或工具。 数据预处理的主要内容包括：数据清洗、数据集成、数据变换和数据规约。 知识点总结如下图所示： 数据预处理的主要过程 数据清洗：主要是删除原始数据集中的无关数据、重复数据，平滑噪声数据，筛选掉与挖掘主题无关的数据，处理缺失值、异常值等。 数据集成：将多个数据源合...
数据挖掘 （三） 数据预处理
weixin_39676449的博客
12-03 1320
一.数据预处理概述： 1.数据质量涉及的六个因素： （1）准确性 （2）完整性 （3）一致性 （4）时效性 （5）可信性：反映有多少数据是用户信赖的 （6）可解释性：反映数据是否容易理解 2.数据预处理原因： 改进数据质量，有助于提高其后的挖掘过程的准确率和效率，是知识发现过程的重要步骤 3.数据预处理的主要步骤： （1）数据清理：数据清理例程通过填写缺失的值，光滑噪声数据，识别或删除离群点，并解...
数据挖掘新手教程：特征工程与异常值处理
"零基础入门数据挖掘的...这个教程详细介绍了数据挖掘中的关键步骤，对于初学者来说是一份很好的入门指南，涵盖了异常值处理、特征构造、数据预处理以及特征选择等多个方面，旨在帮助读者构建一个完整的数据挖掘流程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据AI笔记

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值