赛题:零基础入门数据挖掘 - 二手车交易价格预测
地址:https://tianchi.aliyun.com/competition/entrance/231784/introduction?spm=5176.12281957.1004.1.38b02448ausjSX
数据探索EDA(Exploratory Data Analysis)
常用方法
- pandas 随机抽取 df.sample()
- pandas 排序函数 df.sort_values()
- pandas 画柱状图 df.plot.bar()
- missingno 数据密集显示图 msno.matrix()
- missingno 画柱状图 msno.bar()
- pandas 统计重复值 df.value_counts()
- pandas 数值替换 df.replace()
- numpy 填空值 np.nan()
- 空值相关:np.isnan()、pd.isnull() 和 notna()、fillna()、dropna()
- seaborn 单变量直方图 sns.distplot(), kde 核密度估计
- pandas 偏度和峰度 df.skew()、df.kurt()
- matplotlib.pyplot 直方图 plt.hist()
- numpy 对数变换 np.log()
- pandas 相关系数 df.corr()
- matplotlib.pyplot 返回子图和列表 plt.subplots()
- seaborn 热力图 sns.heatmap()
- pandas 行列转换 pd.melt() 类似数据透视表
- seaborn 多图绘制 sns.FacetGrid.map()
- seaborn 默认主题 sns.set()
- seaborn 两两关系图组 sns.pairplot()
- seaborn 线性回归图 sns.regplot()
- pandas 存在缺失值的行列 pd.isnull().any()
- matplotlib.pyplot 字符串刻度 plt.xticks()
- seaborn 箱线图 sns.boxplot()
- seaborn 小提琴图 sns.violinplot()
- seaborn 柱状图 sns.barplot()
- seaborn 计数柱状图 sns.countplot()
- pandas_profiling 生成数据分析报告
EDA基本内容
- 观察数据:标签,结构,类型,统计量,缺失值,异常值
- 数据可视化:分布图,关系图,回归图,偏度&峰度
- 缺失值&异常值:删除或填充
- 生成数据分析报告
数据小结
- 缺失值较多的特征:车身类型,燃油类型,变速箱,损坏;
- 类别特征中,除了名称和地区,都对价格有一定影响;
- 数字特征中,v_12, v_8, v_0, power和价格有较大正相关,v_3, kilometer, v_11, v_10, v_9和价格有较大负相关,其他数字特征和价格的相关性较小;
- 发动机功率的偏度&峰度很高;