AI训练营金融风控Task2 数据分析部分学习笔记

本学习笔记为阿里云天池龙珠计划金融风控训练营的学习内容，学习链接为：https://tianchi.aliyun.com/specials/activity/promotion/aicampfr

一、 学习知识点概要

EDA（Exploratory Data Analysis）相关步骤：

• 数据总览
  • 读取数据
  • 查看异常值（缺失值、唯一值）
• 数据分布
• 数据间的关系

二、学习内容

1. 读取文件

   # 调用pandas库读取csv文件，os.getcwd()
   import pandas as pd
   data = pd.read_csv("data.csv")
   

   Tips：

	TSV	CSV
分割符	\t	,
python参数	delimiter=’\t’	默认

2. 查看样本数和维度

# 查看样本数和维度
data.shape
#查看列名
data.columns
# 查看每列的数据类型
data.info()
# 查看各特征的基本统计量（mean，count，std，min，max等）
data.describe()

3. 查看缺失值

# 计算有几列特征值有缺失值
data.isnull().any().sum()

三、学习问题与解答

无

四、学习思考与总结

数据探索性分析初步了解数据，熟悉数据为特征工程做准备的阶段，甚至很多时候EDA阶段提取出来的特征可以直接当作规则来用。可见EDA的重要性，这个阶段的主要工作还是借助于各个简单的统计量来对数据整体的了解，分析各个类型变量相互之间的关系，以及用合适的图形可视化出来直观观察。