二手车交易价格预测学习笔记 -- Task2

赛题：零基础入门数据挖掘 - 二手车交易价格预测
地址：https://tianchi.aliyun.com/competition/entrance/231784/introduction?spm=5176.12281957.1004.1.38b02448ausjSX

数据探索EDA（Exploratory Data Analysis）

常用方法

• pandas 随机抽取 df.sample()
• pandas 排序函数 df.sort_values()
• pandas 画柱状图 df.plot.bar()
• missingno 数据密集显示图 msno.matrix(）
• missingno 画柱状图 msno.bar()
• pandas 统计重复值 df.value_counts()
• pandas 数值替换 df.replace()
• numpy 填空值 np.nan()
• 空值相关：np.isnan()、pd.isnull() 和 notna()、fillna()、dropna()
• seaborn 单变量直方图 sns.distplot()， kde 核密度估计
• pandas 偏度和峰度 df.skew()、df.kurt()
• matplotlib.pyplot 直方图 plt.hist()
• numpy 对数变换 np.log()
• pandas 相关系数 df.corr()
• matplotlib.pyplot 返回子图和列表 plt.subplots()
• seaborn 热力图 sns.heatmap(）
• pandas 行列转换 pd.melt() 类似数据透视表
• seaborn 多图绘制 sns.FacetGrid.map()
• seaborn 默认主题 sns.set()
• seaborn 两两关系图组 sns.pairplot()
• seaborn 线性回归图 sns.regplot()
• pandas 存在缺失值的行列 pd.isnull().any()
• matplotlib.pyplot 字符串刻度 plt.xticks()
• seaborn 箱线图 sns.boxplot()
• seaborn 小提琴图 sns.violinplot()
• seaborn 柱状图 sns.barplot()
• seaborn 计数柱状图 sns.countplot()
• pandas_profiling 生成数据分析报告

EDA基本内容

• 观察数据：标签，结构，类型，统计量，缺失值，异常值
• 数据可视化：分布图，关系图，回归图，偏度&峰度
• 缺失值&异常值：删除或填充
• 生成数据分析报告

数据小结

• 缺失值较多的特征：车身类型，燃油类型，变速箱，损坏；
• 类别特征中，除了名称和地区，都对价格有一定影响；
• 数字特征中，v_12, v_8, v_0, power和价格有较大正相关，v_3, kilometer, v_11, v_10, v_9和价格有较大负相关，其他数字特征和价格的相关性较小；
• 发动机功率的偏度&峰度很高；