Task 2 数据分析

目的：
1.EDA价值主要在于熟悉了解整个数据集的基本情况（缺失值，异常值），对数据集进行验证是否可以进行接下来的机器学习或者深度学习建模.
2.了解变量间的相互关系、变量与预测值之间的存在关系。
3.为特征工程做准备

2.2 内容介绍
1、数据总体了解：
1）读取数据集并了解数据集大小，原始特征维度；
2）通过info熟悉数据类型；
3）粗略查看数据集中各特征基本统计量；
2、缺失值和唯一值：
1）查看数据缺失值情况
2）查看唯一值特征情况
3、深入数据-查看数据类型
1）类别型数据
2）数值型数据
①离散数值型数据
②连续数值型数据
4、数据间相关关系
1）特征和特征之间关系
2）特征和目标变量之间关系
5、用pandas_profiling生成数据报告

2.3 代码示例

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
import datetime
import warnings
warnings.filterwarnings('ignore')
import pandas.util.testing as tm

data_train = pd.read_csv('./train.csv')
data_test_a = pd.read_csv('./testA.csv')

"""
读取文件的拓展