结构化赛题:天池新人赛二手车交易价格预测
赛题以预测二手车的交易价格为任务,该数据来自某交易平台的二手车交易记录,总数据量超过 40w,包含 31 列变量信息,其中 15 列为匿名变量。为了保证比赛的公平性,将会从中抽取 15 万条作为训练集,5 万条作为测试集 A,5 万条作为测试集 B,同时会对 name、model、brand 和 regionCode 等信息进行脱敏。赛题介绍:
https://tianchi.aliyun.com/competition/entrance/231784/information
评价标准为 MAE(Mean Absolute Error)。
MAE 越小,说明模型预测得越准确。
打卡汇总:
文章目录
一、任务1:报名比赛,下载比赛数据集并完成读取
导包:
import pandas as pd
import numpy as np
import torch
# #numpy设置行列不限制数量
# np.set_printoptions(threshold=np.inf)
# #tensor设置行列不限制数量
# torch.set_printoptions(threshold=np.inf)
# # 设置行不限制数量
# pd.set_option('display.max_rows',None)
# # 设置列不限制数量
# pd.set_option('display.max_columns',None)
使用Pandas对比赛数据集进行分析:
train_df = pd.read_csv(r'used_car_train_20200313\used_car_train_20200313.csv',sep=' ')
test_df = pd.read_csv(r'used_car_testB_20200421\used_car_testB_20200421.csv',sep=' ')
In[3] : train_df.shape,test_df.shape
Out[3]: ((150000, 31), (50000, 30))
train_df
二、任务2:对数据字段进行理解,并对特征字段依次进行数据分析
分析每个字段的取值、范围(unique)和类型(dtypes):
train_df['brand'].value_counts()
# brand 本质是类别型的
# lablel encoder之后的
train_df['brand'].unique()
train_df['brand'].nunique()
train_df.info()
train_df.dtypes
计算特征字段(30个)与标签的相关性:
train_df.corr()
# 相关性有正负
train_df.corr()['price']
train_df.corr()['price'].abs().sort_values(ascending=False)
选择特征字段中与标签强相关的3个字段,绘制分布关系图:
train_df['v_3'].describe()
import seaborn as sns
# 箱线图
sns.boxplot(train_df['v_3'])
# 整体的密度分布
sns.distplot(train_df['v_3'])
# v_3与price的变化,离散变量和离散变量之间的关系建议用散点图来看
sns.scatterplot(train_df['v_3'],train_df['price'])
# v_12与price的变化
sns.scatterplot(train_df['v_12'],train_df['price'])
# v_8与price的变化
sns.scatterplot(train_df['v_8'],train_df['price'])
train_df['regDate']
pd.to_datetime(train_df['regDate'].head(),format='%Y%m%d')
train_df['regDate1'] = train_df['regDate'].apply(lambda x: str(x)[:4])
train_df
# 看看年份和价格有无关系
train_df.groupby(['regDate1'])['price'].mean().plot()
三、任务3:对标签进行数据分析,并使用 log 进行转换
# 看看price是什么分布
# 小经验:price一般都是非正态分布
sns.distplot(train_df['price'])
# 取对数转换成正态分布
import numpy as np
sns.distplot(np.log(train_df['price']))