探索性数据分析（Exploratory Data Analysis，简称EDA）

数据竞赛基本流程

• 赛题理解
• 探索性数据分析
• 特征工程
• 建模调参
• 模型融合

探索性数据分析（Exploratory Data Analysis，EDA）

In statistics, exploratory data analysis(EDA) is an approach to analyzing data sets to summarize their maincharacteristics, often with visual methods. A statistical model can be used ornot, but primarily EDA is for seeing what the data can tell us beyond theformal modeling or hypothesis testing task. Exploratory data analysis waspromoted by John Tukey to encourage statisticians to explore the data, andpossibly formulate hypotheses that could lead to new data collection andexperiments. EDA is different from initial data analysis (IDA), which focusesmore narrowly on checking assumptions required for model fitting and hypothesistesting, and handling missing values and making transformations of variables asneeded. EDA encompasses IDA. （-From Wiki）

1 EDA的功能

美国国家标准与技术研究院（National Institute of Standards and Technology，NIST）提出探索性数据分析（EDA）主要有如下功能：

• 尽可能洞察数据基本属性
• 发现潜在的数据结构
• 提取重要的变量
• 异常检测和处理异常值
• 检验统计假设
• 建立初步模型
• 决定最优模型因子的设定

2 EDA内容

1. 载入各种数据科学以及可视化库:
   • 数据科学库 pandas、numpy、scipy；
   • 可视化库 matplotlib、seabon；
   • 其他；
2. 载入数据：
   • 载入训练集和测试集( pd.read_csv())；
   • 简略观察数据(head()+tail()+shape)；
3. 数据预览:
   • 通过describe()来熟悉数据的相