数据挖掘入门-Task03-特征工程总结

最新推荐文章于 2024-10-13 20:28:02 发布
最新推荐文章于 2024-10-13 20:28:02 发布
阅读量340 收藏
点赞数
文章标签： 大数据 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Eric___Young/article/details/105168089
版权
特征工程是数据挖掘中的关键步骤，包括异常处理、归一化、数据分桶、缺失值处理、特征构造和筛选、降维等。其主要目标是将数据转换为更有效的特征，提高机器学习模型的性能。特征工程的好坏直接影响比赛的排名和结果，尤其是在模型相似的情况下。对于非匿名特征，可以通过理解业务逻辑创建更有意义的特征。特征工程是一个既基础又复杂的领域，需要深入理解和实践。
摘要由CSDN通过智能技术生成

2、特征工程（最重要的一环）

目标

对于特征进行进一步分析，并对于数据进行处理

内容：

常见的特征工程：

1、异常处理：

  • 通过箱线图（或 3-Sigma）分析删除异常值；
  • BOX-COX 转换（处理有偏分布）；
  • 长尾截断；

2、特征归一化/标准化：

  • 标准化（转换为标准正态分布）；
  • 归一化（转换到 [0,1] 区间）；
  • 针对幂律分布，可以采用公式：
    𝑙𝑜𝑔[(1+𝑥)/( 1 + 𝑚𝑒𝑑𝑖𝑎𝑛)]

3、数据分桶：

  • 等频分桶；

  • 等距分桶；

  • Best-KS 分桶（类似利用基尼指数进行二分类）；

  • 卡方分桶；

  • 例子：

    • 数据分桶 以 power 为例

    • 这时候我们的缺失值也进桶了，

最低0.47元/天 解锁文章
氟西汀重度患者
关注
数据挖掘-Task3 特征工程
Xiaobai_rabbit0的博客
03-28 1176
Datawhale 数据挖掘-Task3 特征工程特征工程目标1 内容介绍2 代码示例2.1 导入数据合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart...
数据挖掘中的指标--分类器中的ROC曲线及相关指标（ROC、AUC、ACC）
weixin_41673190的博客
07-07 2051
ROC又叫受试者工作特征曲线。它是用来验证一个二分类器模型的性能指标，也就是说，给出一个模型，输入一个模型，输入已知正负类的一组数据，并通过对比模型对改组数据进行的预测，衡量这个模型的性能。 相关内容如下图： ROC曲线如何画？ 1.给定一个初始阈值（一般是从0%开始） 2.根据分类结果画上图中第一个表格，然后根据上面的式子算法TPR和FPR。由TPR和FPR可以确定一个点，在...
数据分析——特征工程
钉洲小懒猫的博客
05-13 940
1. 数据预处理 1.1 缺失值处理 根据经验值填充失数据 计算均值，中位数，众数。。等填充数据 重新获取缺失数据 1.2 数据格式/字符类型不符 1.3 逻辑错误 数据重复，去重操作 数据逻辑不合理，如存在相关性的值之间存在矛盾（eg: 身份证号码和填写生日） 1.4 非需求数据处理 1.5 文本数据 无关数据 脏数据 1.6 图片数据 图片...
Datawhale 零基础入门数据挖掘-Task3 特征工程
weixin_40279619的博客
03-27 163
Datawhale 零基础入门数据挖掘-Task3 特征工程 这段比较难 # 这里我包装了一个异常值处理的代码，可以随便调用。 def outliers_proc(data, col_name, scale=3): """ 用于清洗异常值，默认用 box_plot（scale=3）进行清洗 :param data: 接收 pandas 数据格式 :param col_name: pand...
零基础入门数据挖掘-Task3特征工程
ziqi_的博客
03-28 364
本文目录主要内容赛题特征工程目标内容介绍代码导入数据删除异常值特征构造特征筛选经验总结 主要内容 各种特征工程以及分析方法。 赛题 零基础入门数据挖掘 - 二手车交易价格预测。 链接：零基础入门数据挖掘 - 二手车交易价格预测 特征工程目标 对于特征进行进一步分析，并对于数据进行处理 内容介绍 常见的特征工程包括： 异常处理： （1）通过箱线图（或 3-Sigma）分析删除异常值； （2）BOX...
零基础入门数据挖掘-Task3 特征工程
Zee_Chao的博客
03-28 564
1. 学习内容 1. 异常处理 2. 特征归一化/标准化 3. 数据分桶 4. 缺失值处理 5. 特征构造 6. 特征筛选 本项目参见https://github.com/datawhalechina/team-learning 2. 导入相关模块和数据 import pandas as pd import numpy as np import matplotlib impor...
Datawhale数据挖掘新手入门-task3特征工程
DreamStar_w的博客
03-26 510
文章目录一、前言二、特征工程的目标三、学习过程1.数据导入2.删除异常值3.特征构造**4、特征筛选**（1）过滤式三、小结四、参考文献 一、前言 二、特征工程的目标 对于特征进行进一步分析，并对数据进行处理 完成对于特征工程的分析，并对于数据进行一些图表或者文字总结 三、学习过程 1.数据导入 import pandas as pd import numpy as np import m...
数据挖掘入门-Task02-EDA:数据探索分析总结
EricYoung的博客
03-24 362
EDA：数据探索性分析 0 一般问题评价指标说明 0.1评估指标即是我们对于一个模型效果的数值型量化。（有点类似与对于一个商品评价打分，而这是针对于模型效果和理想效果之间的一个打分） 0.2分类算法常见的评估指标如下： 二类分类器/分类算法 评价指标主要有accuracy， [精准率（Precision）和召回率（Recall），F-score，Pr曲线]，ROC-AUC曲线 多类分类...
Datawhale零基础入门数据挖掘-Task3特征工程
DZZ18803835618的博客
03-27 242
特征工程 由于是纯小白，尚无能力完全独自将特征工程完成，所以大部分参考借鉴了Datawhale指导书中的代码，但是自己进行了理解消化，并且在天池实验室中跑了一遍代码，有些自己做出了改动。（虽然kernel要排队好久，而且一般是中午吃饭时才正好有。。。但是仍然无法阻挡我“挖掘”的热情。） 1 特征工程目标 Kaggle上有一句非常经典的话，数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上...
【数据挖掘】阿里云天池-数据挖掘入门-二手车价格预测
九筒的博客
06-13 2476
题目 赛题以预测二手车的交易价格为任务，数据集报名后可见并可下载，该数据来自某交易平台的二手车交易记录，总数据量超过40w，包含31列变量信息，其中15列为匿名变量。为了保证比赛的公平性，将会从中抽取15万条作为训练集，5万条作为测试集A，5万条作为测试集B，同时会对name、model、brand和regionCode等信息进行脱敏。 题目链接 题目分析 数据特征：数据特征共有31个特征，类别特征10个，数值特征21个，其中15个匿名特征均为数值特征 数据量：训练集包含15万条数据，测试集包含5万条数据
【数据挖掘竞赛】零基础入门数据挖掘-二手汽车价格预测
m0_51933492的博客
11-01 9137
数据预处理时首先可以对偏度比较大的数据用log1p函数进行转化，使其更加服从高斯分布，此步处理可能会使我们后续的分类结果得到一个好的结果.notRepairedDamage 中存在空缺值，但空缺值用“-”表示，所以数据查看发现不了空缺值，将“-”替换成NaN。图中可以看出，seller,offerType,creatDate这几个特征值分布不均匀，分别查看。可以看出，seller,offerType这两个特征的取值无变化，几乎倒向同一个值，可以删除。一般来说汽车价格与使用时间成反比。
消息队列介绍
weixin_38703379的博客
10-09 471
优点：性能单台（12000+），性能较好，管理界面较丰富。在互联网公司也有较多应用，有多个语言的成熟客户端。优点：性能单台（10万级），模型简单，接口易用。在阿里巴巴大规模应用。优点：性能单台（6000+）成熟，已经在很多公司得到应用。各种协议支持好，有多个语言的成熟客户端。缺点：运维难度大，对ZooKeeper强依赖。缺点：内部机制很难了解，也意味很难定制和掌控。缺点：性能较弱，缺乏大规模吞吐的场景的应用，有江河日下之感。优点：天生分布式性能最好，所以常见大数据领域。缺点：文档少，支持的语言较少。
020 elasticsearch7.10.2 elasticsearch-head kibana安装
m0_46695127的博客
10-13 759
020 elasticsearch7.10.2 elasticsearch-head kibana安装
pandas常用数据格式IO性能对比
lining9508的博客
10-09 805
本文对pandas支持的一些数据格式进行IO（读写）的性能测试，大数据时代以数据为基础，经常会遇到操作大量数据的情景，数据的IO性能尤为重要，本文对常见的数据格式csv、feather、hdf5、jay、parquet、pickle性能进行对比。
第十二章 RabbitMQ之失败消息处理策略
Calvin的博客
10-11 1321
Spring AMQP提供了消费者失败重试机制，在消费者出现异常时利用本地重试，而不是无限地requeue到mq。我们可以定义一个异常队列和交换机，来接收其他交换机队列转发的无法处理的异常消息。然后我们可以查看其中的异常消息并进行人工处理。重试耗尽后，直接reject，丢弃消息（默认方式）重试耗尽后，将失败消息投递到指定的交换机（推荐）2. 定义接收失败消息的交换机、队列及其绑定关系。重试耗尽后，返回nack，消息重新入队。在实际项目的生产环境中，通过。
SparkSQL介绍及使用
最新发布
m0_70882914的博客
10-13 386
SparkSQL介绍及使用
大数据治理：挑战与实践
weidl001的博客
10-13 1118
大数据治理是现代企业在数据管理过程中必须面对的挑战，通过科学有效的治理策略和先进的工具，企业可以有效地提升数据质量、增强数据安全、满足合规要求，并最大化数据的业务价值。随着大数据技术和AI的进步，大数据治理的自动化和智能化将为企业提供更强的竞争力。持续投入和关注数据治理，将有助于企业在复杂的数据环境中把握先机、实现创新。
第七章 RabbitMQ之交换机
Calvin的博客
10-10 1671
在RabbitMQ中，交换机（Exchange）是用来接收生产者发送的消息并将这些消息路由到一个或多个队列的组件。不同类型的交换机决定了它们如何路由这些消息。以下是RabbitMQ中几种常用交换机类型：直接交换机（direct）：如果路由键完全匹配，消息就被投递到相应的队列。广播交换机（fanout）：消息被广播到所有绑定的队列。主题交换机（topic）：如果路由键匹配模式（通配符*代表匹配多个单词和#代表匹配一个单词），消息被投递到相应的队列。头交换机（headers）：通过匹配消息头进行路由。
数据挖掘新手教程：特征工程与异常值处理
"零基础入门数据挖掘的Task3主要讲解了特征工程，包括异常值的判别与处理、新特征的构造以及数据保存，同时也涉及到了特征选择的过程。" 在这个教程中，首先介绍了特征工程的基本概念，特别是针对异常值的处理。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值