【Datawhale】零基础入门数据挖掘 - 二手车交易价格预测[task3 特征工程]

最新推荐文章于 2024-04-06 00:31:25 发布
最新推荐文章于 2024-04-06 00:31:25 发布
阅读量268 收藏
点赞数
分类专栏： 日常学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43041009/article/details/105873845
版权

文章目录

一、特征工程（FS）

大致可分为两部分：预处理与特征选择（Feature selection）部分
在这里插入图片描述

二、task3代码-feature engineering

【Datawhale】[task3]3.3代码示例

三、问题

1、特征构造
# 训练集和测试集利用concat放在一起，方便构造特征？ Train_data['train']=1 Test_data['train']=0#这是各自新增加了一列'train'吗？？ data=pd.concat([Train_data,Test_data],ignore_index=True) # 忽略索引
2、分桶（箱）的结果？？

最低0.47元/天 解锁文章
zyq_go
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
零基础入门数据挖掘-二手车交易价格预测（Day3建模调参）
12-21
目录减少数据在内存中占用的空间线性回归 & 五折交叉验证 & 模拟真实业务情况简单建模五折交叉验证事实上,五折交叉验证在某些与时间相关的数据集上反而反映了不真实的情况绘制学习率曲线与验证曲线嵌入式特征选择 – 大部分情况下都是用嵌入式做特征选择# 我们看下三种模型的效果对比:线性回归; 加入了L1的Lasso回归; 加入了L2的岭回归 减少数据在内存中占用的空间 def reduce_mem_usage(df): """ iterate through all the columns of a dataframe and modify the data type to
【数据挖掘竞赛】零基础入门数据挖掘-二手汽车价格预测
m0_51933492的博客
11-01 8807
数据预处理时首先可以对偏度比较大的数据用log1p函数进行转化，使其更加服从高斯分布，此步处理可能会使我们后续的分类结果得到一个好的结果.notRepairedDamage 中存在空缺值，但空缺值用“-”表示，所以数据查看发现不了空缺值，将“-”替换成NaN。图中可以看出，seller,offerType,creatDate这几个特征值分布不均匀，分别查看。可以看出，seller,offerType这两个特征的取值无变化，几乎倒向同一个值，可以删除。一般来说汽车价格与使用时间成反比。
零基础入门数据挖掘——二手车交易价格预测：baseline
FavoriteStar的博客
12-03 8554
本文是对阿里云天池竞赛——零基础入门数据挖掘之二手车交易价格预测的学习记录，是一个很简单的baseline。
零基础入门数据挖掘 - 二手车交易价格预测
cyanPhoenix的博客
03-23 1121
Datawhale 零基础入门数据挖掘 来源：Datawhale 零基础入门数据挖掘 一、赛题数据 赛题以预测二手车的交易价格为任务，数据集报名后可见并可下载，该数据来自某交易平台的二手车交易记录，总数据量超过40w，包含31列变量信息，其中15列为匿名变量。为了保证比赛的公平性，将会从中抽取15万条作为训练集，5万条作为测试集A，5万条作为测试集B，同时会对name、model、brand...
数据挖掘入门项目二手交易车价格预测之数据分析
David_house的博客
03-02 1697
数据探索有利于我们发现数据的一些特性，数据之间的关联性，对于后续的特征构建是很有帮助的。对于数据的初步分析（直接查看数据，或.sum(), .mean()，.descirbe()等统计函数）可以从：样本数量，训练集数量，是否有时间特征，是否是时许问题，特征所表示的含义（非匿名特征），特征类型（字符类似，int，float，time），特征的缺失情况（注意缺失的在数据中的表现形式，有些是空的有些是”NAN”符号等），特征的均值方差情况。
零基础入门数据挖掘-Task3 特征工程
01-20
4. 构造新特征并保存数据到文件 4.1 供树模型使用 4.1.1 合并训练集和测试集 4.1.2 新建“使用时间”特征 4.1.3 新建“城市信息”特征 4.1.4 新建“统计信息”特征（以品牌为例） 4.1.5 数据分桶（以马力为例） ...
Datawhale零基础入门NLP赛事数据集-数据集
03-26
在这个数据集“Datawhale零基础入门NLP赛事数据集”中，我们有两个关键文件：train_set.csv 和 test_a.csv，分别代表训练集和测试集，这是进行机器学习或深度学习任务时常见的数据划分方式。 训练集(train_set.csv)...
二手车交易价格预测_Task3_特征工程
12-21
特征工程_代码示例部分 1.导入数据 # 导入第三方工具包 import pandas as pd import numpy as np from sklearn import preprocessing import matplotlib import matplotlib.pyplot as plt import seaborn as sns ...
天池-零基础入门数据挖掘-心跳信号分类预测-EDA分析全过程-代码.rar
03-19
在本项目中，我们主要关注的是“天池-零基础入门数据挖掘-心跳信号分类预测-EDA分析全过程-代码.rar”这一主题。这个压缩包文件包含的是一次数据挖掘实践，特别针对心跳信号的分类预测，它涉及到数据分析的初步探索...
二手车交易价格预测学习笔记 — Task5
12-21
赛题源自阿里云天池平台的“零基础入门数据挖掘 – 二手车交易价格预测”，它为初学者提供了实践数据挖掘技术的机会。 首先，我们要处理的数据可能包含多个特征，如车辆的品牌、型号、年份、里程、颜色等，这些特征...
20200322零基础入门数据挖掘 – 二手车交易价格预测笔记（2）
01-21
二、EDA-数据探索性分析 前面的步骤就不做赘述了，我在下载好资料后，在jupyter notebook里将数据导入，随后进行课程内容的一系列指导操作，熟悉数据集，包括： 2.1 载入各种数据科学以及可视化库: 数据科学库 pandas、numpy、scipy； 可视化库 matplotlib、seabon； 其他； 2.2 载入数据： 载入训练集和测试集； 简略观察数据**(head()+shape)**； 2.3 数据总览: 通过**describe()**来熟悉数据的相关统计量 通过**info()**来熟悉数据类型 2.4 判断数据缺失和异常 查看每列的存在nan情况 异常值检测 2.
大数据分析本科期末大作业蔬菜价格分析源码.zip
05-29
大数据分析本科期末大作业蔬菜价格分析源码。架构 2802_hdp_ver文件夹中，result.html与result2.html为可视化的结果 origin_data中是初始数据 origin_code中是项目的代码 origin_code/echarts中是生成图表的代码 origin_code/my_ver中是清洗数据以及打包到集群跑的代码大数据分析本科期末大作业蔬菜价格分析源码。架构 2802_hdp_ver文件夹中，result.html与result2.html为可视化的结果 origin_data中是初始数据 origin_code中是项目的代码 origin_code/echarts中是生成图表的代码 origin_code/my_ver中是清洗数据以及打包到集群跑的代码
零基础入门数据挖掘——二手车交易价格预测
homer_of的博客
04-13 1416
零基础入门数据挖掘——二手车交易价格预测 一、 赛题理解 Tip:此部分为零基础入门数据挖掘的 Task1 赛题理解 部分，为大家入门数据挖掘比赛提供一个基本的赛题入门讲解，欢迎后续大家多多交流。 赛题：零基础入门数据挖掘 - 二手车交易价格预测 地址：https://tianchi.aliyun.com/competition/entrance/231784/introduction?spm=5176.12281957.1004.1.38b02448ausjSX 1.1 学习目标 1）理解赛题数据和目标，
零基础入门数据挖掘-Baseline（二手车交易价格预测）
聆听雨de旋律
07-21 1172
二手车交易价格预测baseline Tip:这是一个最初始baseline版本,抛砖引玉,为大家提供一个基本Baseline和一个竞赛流程的基本介绍，欢迎大家多多交流。 赛题：零基础入门数据挖掘 - 二手车交易价格预测 地址：https://tianchi.aliyun.com/competition/entrance/231784/introduction?spm=5176.12281957.1004.1.38b02448ausjSX # 查看数据文件目录 list datalab files !ls
数据挖掘实战：二手车交易价格预测
热门推荐
guangyacyb的博客
03-21 1万+
赛题数据 数据来自某交易平台的二手车交易记录，总数据量超过40w，包含31列变量信息，其中15列为匿名变量。从中抽取15万条作为训练集，5万条作为测试集A，5万条作为测试集B，同时会对name、model、brand和regionCode等信息进行脱敏。 字段表 Field Description SaleID 交易ID，唯一编码 name 汽车交易名称，已脱敏 regDa...
零基础入门数据挖掘-二手车交易价格预测之数据分析
J_8023的博客
03-24 967
以二手车交易价格预测为例来入门数据挖掘，本部分对数据进行分析，从而理解熟悉数据，完成对数据的探索性分析。 1.引入各种数据科学以及可视化库： 1）数据科学库： pandas、numpy、scipy 2）可视化库： matplotlib、seaborn 2.载入数据： 载入数据集和测试集（pd.read_csv），简略管擦数据head（）+shape，describe（...
学习数据挖掘- 二手车交易价格预测
2201_75716318的博客
07-29 1314
解决方法：尚未安装名为missingno的库。该错误信息显示了，这意味着 Python 找不到名为missingno的库。要解决这个问题，你需要先安装missingno库。在 Jupyter Notebook 中，你可以使用以下命令来安装missingno。
数据挖掘入门项目二手交易车价格预测之建模调参
最新发布
David_house的博客
04-06 1927
上述我们主要通过log转换正则化模型选择参数微调等方法来提高预测的精度最后附上一些学习链接供大家参考：线性回归模型：https://zhuanlan.zhihu.com/p/49480391决策树模型：https://zhuanlan.zhihu.com/p/65304798GBDT模型：https://zhuanlan.zhihu.com/p/45145899XGBoost模型：https://zhuanlan.zhihu.com/p/86816771。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值