信用风险评估评分卡 之 极端值

• 极端值的产生：
  1.数据生成的过程来源于某些未知的函数形式的分布，很难确定哪些观测值是极端值；
  2.在获取原始业务数据过程中，产生差错。

• 极端值的识别：
  1.为每个变量（feature）设定一个正常的取值范围，超过一定范围视为极端值。如连续feature,这些范围设定为均值+/-3倍标准差。该方法只考虑单个变量。
  2.用已知数据拟合模型，严重偏离拟合模型的样本/观测值视为极端值。
  3.用聚类算法将数据分为若干子集，只含有很小数量的簇（理想情况只包含一个样本/观测值），视为极端值。
  4.用决策树发现包含少量观测值的持续结点。
  总结：常用多种方法相结合，比如采用基于取值范围的方法进行单变量分析识别极端值，然后用聚类方法在多元特征上识别。

• 极端值的处理
  大部分情况，删除极端值，或者将其重置为总体中看起来更为典型的某个值。然而，当被认为的极端值的数量很大，比如超过总体10%,那么需要将总体分为两个独立的数据集，分别开发独立的评分卡。
  极端值很少时可以删除，另外可以用中位数，均值等替换。