[Datawhale学习小组]_金融风控_Task2数据分析

EDA

数据总体了解

1. 读取数据集并了解数据集大小，原始特征维度
   • 读取数据的扩展知识 ：对于文件特别大的场景，通过nrows参数，来设置读取文件的前多少行；分块读取
2. 通过info熟悉数据类型
3. 粗略查看数据集中各特征基本统计量

缺失值和唯一值

1. 查看数据缺失值
2. 查看唯一值特征情况

深入数据-查看数据类型

1. 类别型数据
2. 数值型数据
   • 离散数值型数据
   • 连续数值型数据

特征分箱

• 数值型特征本是可以直接入模的，但往往风控人员要对其做分箱，转化为WOE编码进而做标准评分卡等操作。
• 从模型效果上来看，特征分箱主要是
  • 为了降低变量的复杂性，分类模型中需要对连续变量离散化，可以降低模型过拟合的风险，更稳定。
  • 离散特征的增加和减少都很容易，易于模型的快速迭代
  • 稀疏向量内积乘法运算速度快，计算结果方便存储，容易扩展。
  • 减少变量噪音对模型的影响，离散化后的特征对异常数据有很强的鲁棒性，比如一个特征年龄>1 是1，否则是0，如果特征没有离散化，一个异常数据300岁会给模型造成很大的干扰。
  • 可以将缺失的作为独立的一类带入模型
  • 逻辑回归属于广义线性模型，表达能力受限，单变量离散化为N 个后，每个变量有单独的权重，相当于为模型引入了非线性，能够提升模型表达能力，加大拟合。
  • 离散化后可以进行特征交叉，由M+N 个变量变为M*N 个变量，进一步引入非线性，提升表达能力。？？？
  • 提高自变量和因变量的相关度。从而使模型更加稳定。？？？

数据间相关关系

1. 特征和特征之间关系
2. 特征和目标变量之间关系
   • 根绝y值不同可视化x某个特征的分布
   • 首先查看类别型变量在不同y值上的分布
   • 其次查看连续型变量在不同y值上的分布
3. 时间格式数据处理及查看

用pandas_profiling 生成数据报告