【数据挖掘】阿里云天池-数据挖掘入门-二手车价格预测

已于 2022-03-15 18:59:30 修改
阅读量2.4k 收藏 28
点赞数 1
分类专栏： 数据挖掘 文章标签： 机器学习 人工智能 数据分析 数据挖掘 阿里云天池
于 2021-06-13 14:56:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44343282/article/details/117875807
版权
本文介绍了参与阿里云天池数据挖掘竞赛的二手车价格预测任务，包括数据预处理（如缺失值处理、异常值处理、归一化）、特征工程和建模过程。重点讨论了在数据挖掘中如何处理缺失值，异常值的处理策略，以及在特征工程中创建新特征的重要性。建模阶段提到了集成学习方法，如随机森林和LightGBM，并解释了Stacking模型融合的概念。
摘要由CSDN通过智能技术生成

题目

赛题以预测二手车的交易价格为任务，数据集报名后可见并可下载，该数据来自某交易平台的二手车交易记录，总数据量超过40w，包含31列变量信息，其中15列为匿名变量。为了保证比赛的公平性，将会从中抽取15万条作为训练集，5万条作为测试集A，5万条作为测试集B，同时会对name、model、brand和regionCode等信息进行脱敏。
题目链接
代码链接

题目分析

  1. 数据特征：数据特征共有31个特征，类别特征10个，数值特征21个，其中15个匿名特征均为数值特征
  2. 数据量：训练集包含15万条数据，测试集包含5万条数据
  3. 题目类型：属于典型的回归问题
  4. 评估指标：平均绝对误差MAE
  5. 本题的数据挖掘需要更加注重模型的可解释性

数据预处理

缺失值

数据集 字段名 缺失数据量 缺失率
train model 1 6.67e-6
train bodyType 4506 3.004%
tr
最低0.47元/天 解锁文章
九筒-
关注
  • 1
    点赞
  • 踩
  • 28
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
阿里云天池竞赛——二手车价格预测项目（个人练习+源代码）
jidongdaoshi的博客
01-23 4271
阿里云天池竞赛——二手车交易价格预测（个人练习+源代码）
【我的数据挖掘竞赛之旅（二）】二手车交易价格预测——2020年天池阿里云竞赛Task1赛题理解
汪雯琦的博客
03-24 1307
Datawhale 零基础入门数据挖掘-Task1 赛题理解 文章目录Datawhale 零基础入门数据挖掘-Task1 赛题理解一、 赛题理解1.1 学习目标1.2 了解赛题1.2.1 赛题概况1.2.2 数据概况1.2.3 预测指标分类算法常见的评估指标如下：对于回归预测类常见的评估指标如下:1.2.4. 分析赛题1.3 代码示例1.3.1 数据读取pandas1.3.2 分类指标评价计算示例...
阿里云天池：预测二手车交易价格的机器学习项目
最新发布
2302_80075721的博客
07-28 538
数据集包含超过40万条二手车交易记录，31个特征变量，包括15个匿名特征。为保证比赛的公平性，数据集被分为训练集、测试集A和测试集B。为了保护隐私，部分特征（如name、model、brand和regionCode）已被脱敏。SaleID: 交易ID，唯一编码regDate: 汽车注册日期model: 车型编码brand: 汽车品牌bodyType: 车身类型fuelType: 燃油类型gearbox: 变速箱类型power: 发动机功率kilometer: 已行驶公里数。
阿里天池竞赛项目——二手车交易价格预测
热门推荐
weixin_43823338的博客
10-28 1万+
二、特征工程 特征工程主要涉及数据的处理、特征的构造和特征帅选。 特征构造 我们对照官方给的变量的定义，发现model、 brand、 bodyType、 fuelType等为取几个值的离散变量。当我们采用基于树模型（XGBoost、LightGBM）来解决回归问题时，针对每一棵树，需要做的是确定分裂的变量，以及分裂点。一般采用启发式方法，根据分裂后的收益（误差）是否下降，并选择下降最多的分裂点，来逐步构建一棵树。由于上述的几个变量的值，只是代表类别，并不代表实际的大小，根据值大小的分裂并不能代表实际的
阿里天池二手车交易价格预测(一)——EDA
Ryan的博客
10-01 1089
阿里天池二手车交易价格预测(一)——EDA Exploratory Data Analysis是数据科学领取理解和分析数据的方法，通过不断的收集、分析和假设验证，以取得对数据的深入理解。 EDA的价值主要在于熟悉数据集，了解数据集，对数据集进行验证来确定所获得数据集可以用于接下来的机器学习或者深度学习使用。 当了解了数据集之后我们下一步就是要去了解变量间的相互关系以及变量与预测值之间的存在关系。 引导数据科学从业者进行数据处理以及特征工程的步骤,使数据集的结构和特征集让接下来的预测问题更加可靠。 完成
天池_二手车价格预测_Task4_建模调参
ExcaliburUlimited的博客
05-05 1103
目录0️⃣ 前言0️⃣.1️⃣ 赛题重述0️⃣.2️⃣ 数据集概述1️⃣ 数据处理2️⃣ 线性回归2️⃣.1️⃣ 简单建模2️⃣.2️⃣ 处理长尾分布3️⃣ 五折交叉验证¶（`cross_val_score`）3️⃣.1️⃣ `cross_val_score`相应函数的应用3️⃣.2️⃣ 考虑真实世界限制3️⃣.3️⃣ 绘制学习率曲线与验证曲线¶4️⃣ 多种模型对比4️⃣.1️⃣ 线性模型 &am...
天池案例-二手车交易价格预测-回归(xgb+lgb)
weixin_41175904的博客
07-14 2410
1 案例描述 赛题以预测二手车的交易价格为任务，评测标准：评价标准为MAE(Mean Absolute Error)。 2 代码详情 # 基础工具 import numpy as np import pandas as pd import warnings import matplotlib import matplotlib.pyplot as plt import seaborn as sns from scipy.special import jn from IPython.display i
【天池学习笔记】二手车交易价格预测
i6223671的博客
04-12 4623
1.赛题理解 1.1背景 赛题以预测二手车的交易价格为任务，数据集报名后可见并可下载，该数据来自某交易平台的二手车交易记录，总数据量超过40w，包含31列变量信息，其中15列为匿名变量。为了保证比赛的公平性，将会从中抽取15万条作为训练集，5万条作为测试集A，5万条作为测试集B，同时会对name、model、brand和regionCode等信息进行脱敏。 回归问题,属于传统数据挖掘,不适用神经网络 回归问题用机器学习,主要注意构建特征和选择模型 比赛主要应用xgb、lgb、catboost 价
阿里云天池-零基础入门数据挖掘 - 二手车交易价格预测运行结果-output.csv
07-23
阿里云天池-零基础入门数据挖掘 - 二手车交易价格预测
阿里云天池赛-数据挖掘入门-二手车价格预测算法源码+项目说明.zip
01-23
【资源说明】 1、该资源包括项目的全部源码，下载可以直接使用！ 2、本项目适合作为计算机、数学、电子信息等专业的竞赛项目学习资料，作为参考学习...阿里云天池赛-数据挖掘入门-二手车价格预测算法源码+项目说明.zip
天池比赛二手车交易价格预测400分notebook.ipynb
04-12
天池比赛二手车交易价格预测
【数据挖掘竞赛】零基础入门数据挖掘-二手汽车价格预测
m0_51933492的博客
11-01 9041
数据预处理时首先可以对偏度比较大的数据用log1p函数进行转化，使其更加服从高斯分布，此步处理可能会使我们后续的分类结果得到一个好的结果.notRepairedDamage 中存在空缺值，但空缺值用“-”表示，所以数据查看发现不了空缺值，将“-”替换成NaN。图中可以看出，seller,offerType,creatDate这几个特征值分布不均匀，分别查看。可以看出，seller,offerType这两个特征的取值无变化，几乎倒向同一个值，可以删除。一般来说汽车价格与使用时间成反比。
天池二手车交易价格预测--特征工程
qq_41167295的博客
03-28 501
特征工程 3.1 特征工程目标 对于特征进行进一步分析，并对于数据进行处理 完成对于特征工程的分析，并对于数据进行一些图表或者文字总结 3.2 内容介绍 常见的特征工程包括： 异常处理： 通过箱线图（或 3-Sigma）分析删除异常值； BOX-COX 转换（处理有偏分布）； 长尾截断； 特征归一化/标准化： 标准化（转换为标准正态分布）； 归一化（抓换到 [0,1] 区间）； 针对幂...
数据挖掘 - 二手车交易价格预测(阿里天池)
qq_29423387的博客
04-05 1259
https://blog.csdn.net/CarryLvan/article/details/106797353 https://tianchi.aliyun.com/notebook-ai/detail?spm=5176.12281978.0.0.68021b43o0Uz9x&postId=95422 https://tianchi.aliyun.com/course/319?spm=5176.21206777.J_3641663050.20.309317c9ZA3PRl 未完待续 ...
天池二手车交易价格预测---EDA-数据探索性分析
qq_41167295的博客
03-24 557
二、EDA-数据探索性分析 2.1 EDA目标 EDA的价值主要在于熟悉数据集，了解数据集，对数据集进行验证来确定所获得数据集可以用于接下来的机器学习或者深度学习使用。 当了解了数据集之后我们下一步就是要去了解变量间的相互关系以及变量与预测值之间的存在关系。 引导数据科学从业者进行数据处理以及特征工程的步骤,使数据集的结构和特征集让接下来的预测问题更加可靠。 完成对于数据的探索性分...
天池二手车交易价格预测-task[5]-模型融合
数据挖掘学习笔记
04-04 369
集成模型往往在数据比赛中会有比较好的成绩 主要包括以下三种方法： 投票集成 平均 排名平均 1.简单加权平均 def Weighted_method(test_pre1,test_pre2,test_pre3,w=[1/3,1/3,1/3]): Weighted_result = w[0]*pd.Series(test_pre1)+w[1]*pd.Series(test_pre2)+w...
数据竞赛入门系列——天池二手车交易价格预测【2】数据分析——EDA
hzyaaa123的博客
03-24 1619
数据竞赛入门系列——天池二手车交易价格预测【2】数据分析——EDA一、介绍二、数据集观察2.1 加载数据2.2 数据形状总览2.2.1 训练集形状2.2.2 测试集形状2.3 数据集统计量总览三、数据集的缺失和异常处理3.1 查看缺失值情况3.2 查看异常值检测四、数据集分布情况五、数据集特征分析5.1 类别特征分析5.2 数字特征分析5.2.1 相关性分析5.2.2 查看几个数值特征的偏度和峰度...
天池-零基础入门数据挖掘-心跳信号分类预测-eda分析全过程-代码
07-28
心跳信号分类预测是一个基于数据挖掘的重要任务，本次回答将介绍在天池-零基础入门数据挖掘比赛中心跳信号分类预测项目中的EDA（探索性数据分析）分析过程和相应代码。 首先，我们需要导入所需的库和数据集，如下所示： ```python import pandas as pd import numpy as np # 导入训练集 train_df = pd.read_csv('train.csv') # 导入测试集 test_df = pd.read_csv('test.csv') ``` 接下来，我们可以进行一些基本的数据探索，如查看数据集的形状和前几行数据等： ```python # 查看训练集形状 train_df.shape # 查看训练集前几行数据 train_df.head() ``` 然后，我们可以对数据集进行一些统计性分析，如计算各个特征的缺失值数量、平均值、标准差等： ```python # 计算训练集特征的缺失值数量 train_df.isnull().sum() # 计算训练集特征的均值 train_df.mean() # 计算训练集特征的标准差 train_df.std() ``` 接下来，我们可以对数据集中的特征进行可视化分析，以便更好地理解数据： ```python import matplotlib.pyplot as plt # 绘制训练集中特征的直方图 train_df.hist(figsize=(10, 10), bins=50) plt.show() # 绘制训练集中特征之间的相关性热图 correlation = train_df.corr() plt.figure(figsize=(10, 10)) plt.imshow(correlation, cmap='hot', interpolation='nearest') plt.colorbar() plt.xticks(np.arange(len(correlation.columns)), correlation.columns, rotation=90) plt.yticks(np.arange(len(correlation.columns)), correlation.columns) plt.show() ``` 最后，我们可以对数据集中的特征进行预处理和特征工程，以提高模型的性能： ```python from sklearn.preprocessing import StandardScaler # 对训练集的特征进行标准化 scaler = StandardScaler() scaled_features = scaler.fit_transform(train_df.drop('target', axis=1)) # 构建新的训练集 new_train_df = pd.DataFrame(scaled_features, columns=train_df.columns[:-1]) new_train_df['target'] = train_df['target'] ``` 以上就是在天池-零基础入门数据挖掘比赛中心跳信号分类预测项目中的EDA分析过程和相应代码。通过探索性数据分析，我们可以更好地理解数据集，并为后续的特征工程和模型训练做好准备。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值