Task 2 数据分析

Task 2 数据分析

EDA（Exploratory Data Analysis）是指对已有的数据（特别是调查或观察得来的原始数据）在尽量少的先验假定下进行探索，通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律的一种数据分析方法。

数据探索有利于我们发现数据的一些特性，数据之间的关联性，对于后续的特征构建是很有帮助的。

对于数据的初步分析（直接查看数据，或.sum(), .mean()，.descirbe()等统计函数）可以从：样本数量，训练集数量，是否有时间特征，是否是时序问题，特征所表示的含义（非匿名特征），特征类型（字符类似，int，float，time），特征的缺失情况（注意缺失的在数据中的表现形式，有些是空的有些是”NAN”符号等），特征的均值方差情况。

分析记录某些特征值缺失占比30%以上样本的缺失处理，有助于后续的模型验证和调节，分析特征应该是填充（填充方式是什么，均值填充，0填充，众数填充等），还是舍去，还是先做样本分类用不同的特征模型去预测。

对于异常值做专门的分析，分析特征异常的label是否为异常值（或者偏离均值较远或者事特殊符号）,异常值是否应该剔除，还是用正常值填充，是记录异常，还是机器本身异常等。

流程

1. 载入各种数据科学以及可视化库:
   数据科学库 pandas、numpy、scipy；
   可视化库 matplotlib、seabon；
   其他；
2. 载入数据：
   载入训练集和测试集(pd.read_csv)；
   简略观察数据(head()+shape)；
3. 数据总览:
   通过describe()来熟悉数据的相关统计量
   通过info()来熟悉数据类型
4. 判断数据缺失和异常
   查看每列的存在nan情况
   异常值检测

# nan可视化
missing = Train_data.isnull().sum()
missing = missing[missing > 0]
missing.sort_values(inplace=True)
missing.plot.bar()

5. 了解预测值的分布
   总体分布概况（无界约翰逊分布等）

## 1) 总体分布概况（无界约翰逊分布等）
import scipy.stats as st
y = Train_data['price']
plt.figure(1); plt.title('Johnson SU')
sns.distplot(y, kde=False, fit=st.johnsonsu)
plt.figure(2); plt.title('Normal')
sns.distplot(y, kde=False, fit=st.norm)
plt.figure(3); plt.title('Log Normal')
sns.distplot(y, kde=False, fit=st.lognorm)

查看skewness and kurtosis

## 2) 查看skewness and kurtosis
sns.distplot(Train_data['price']);
print("Skewness: %f" % Train_data['price'].skew())
print("Kurtosis: %f" % Train_data['price'].kurt())

查看预测值的具体频数

## 3) 查看预测值的具体频数
plt.hist(Train_data['price'], orientation = 'vertical',histtype = 'bar', color ='red')
plt.show()

6. 特征分为类别特征和数字特征，并对类别特征查看unique分布
   分离label、提取numerical feature和category feature

7. 数字特征分析
   相关性分析
   查看几个特征偏度和峰值
   每个数字特征分布可视化
   数字特征相互之间的关系可视化
   多变量互相回归关系可视化

8. 类型特征分析
   unique分布
   类别特征箱形图可视化
   类别特征的小提琴图可视化
   类别特征的柱形图可视化类别
   特征的每个类别频数可视化(count_plot)

9. 用pandas_profiling生成数据报告