特征漂移指标 PSI

特征漂移指标 PSI

背景描述

稳定性指的是参与对比两者相同指标差异性很小。机器学习使用训练数据（训练集和验证集）建模，使用测试数据模拟生产环境数据测试模型结果，其建模的假设是：训练数据涵盖了该问题所有的案例数据，即训练数据和测试（生产）数据之间的差异是很小的。

但实际上这个假设是很难成立的，原因：

1. 受限于数据收集方法，不可能收集到该问题的所有案例数据。
2. 模型投产后，生产环境的数据随时间会受到自然环境、政策环境、市场环境等影响而发生变化并且不可预知。

模型的输出很可能是决策的依据，如果模型不能适应新数据，这是很大的风险点。因此，监控数据的稳定性并且及时更新模型是一件很重要的事情。

群体稳定性指标

群体稳定指标（Population Stability Index，PSI）反映了验证样本在各分箱段的分布与建模样本分布的稳定性，通常被用来筛选特征变量、评估模型稳定性。计算方法如下所示：

这里就先遵循拿来主义，“这个公式为什么就能表示稳定性”在此不做深究。下面对公式说一些说明：

A （actual）表示实际分布，即生产数据，E（expected）表示期望分布，即训练数据。期望生产数据尽可能和训练数据的分布一样。i 表示每个分箱。这个公式的意思是：将每个分箱下的生产数据和期望数据做数学计算后再将结果求和。

PSI	稳定性
0~0.1	稳定性很好
0.1~0.2	稍微有点不稳定
大于 0.2	不稳定，分析生产数据并判断是否要重新训练模型

PSI 代码实现

1.创建模拟数据

size = 5000
# 期望数据
p2 = np.random.normal(loc = 3, scale = 1, size = size)
# 实际数据
a2 = np.random.normal(loc = 3.5, scale = 0.75, size = size)

1. 计算每个分箱的边界，推荐分箱数位 10-20，此处设置 10 个分箱

num_bins = 10
eps = 1e-4

min_val = min(min(p2), min(a2))
max_val = max(max(a2), max(p2))
bins = [min_val + (max_val - min_val)*(i)/num_bins for i in range(num_bins+1)]
bins[0] = min_val - eps # 修正下界
bins[-1] = max_val + eps # 修正上界

print(bins)
# [-0.4810252475657688, 0.229173950184835, 0.9392731479354388, 1.649372345686043, 2.3594715434366464, 3.0695707411872504, 3.7796699389378547, 4.489769136688458, 5.199868334439062, 5.909967532189666, 6.620166729940269]

1. 将实际数据和期望数据分箱

# 计算数组总的元素属于哪个分箱
bins_p2 = pd.cut(p2, bins = bins, labels = range(1,num_bins+1))
# 将元素和封箱号对齐
df_p2 = pd.DataFrame({'p2': p2, 'bin': bins_p2})
# 统计每个封箱中的元素数量
grp_p2 = df_p2.groupby('bin').count()
# 计算每个分箱中元素数量占总数的百分比
grp_p2['percent_p2'] = grp_p2['p2'] / sum(grp_p2['p2'])

# 对实际数据也进行分享操作
bins_a2 = pd.cut(a2, bins = bins, labels = range(1,num_bins+1))
df_a2 = pd.DataFrame({'a2': a2, 'bin': bins_a2})
grp_a2 = df_a2.groupby('bin').count()
grp_a2['percent_a2'] = grp_a2['a2'] / sum(grp_a2['a2'])

# 比较 p2 和 a2 的分箱数据
psi_df = grp_p2.join(grp_a2, on = "bin", how = "inner")
print(psi_df)

bin	p2	percent_p2	a2	percent_a2
1	12	0.002400	0	0.0000
2	75	0.015003	3	0.0006
3	338	0.067614	36	0.0072
4	919	0.183837	309	0.0618
5	1297	0.259452	1061	0.2122
6	1293	0.258652	1883	0.3766
7	704	0.140828	1223	0.2446
8	278	0.055611	430	0.0860
9	70	0.014003	54	0.0108
10	13	0.002601	1	0.0002

1. 计算各分箱的 psi

# 当 percent_p* 是 0 时，给其加上 eps。防止 0 参与运算抛异常。
psi_df['percent_p2'] = psi_df['percent_p2'].apply(lambda x: eps if x == 0 else x)
psi_df['percent_a2'] = psi_df['percent_a2'].apply(lambda x: eps if x == 0 else x)
# 计算每行的 psi
psi_df['psi'] = (psi_df['percent_p2'] - psi_df['percent_a2']) * np.log(psi_df['percent_p2'] / psi_df['percent_a2'])

print(psi_df)

bin	p2	percent_p2	a2	percent_a2	psi
1	12	0.002400	0	0.0000	0.007312
2	75	0.015003	3	0.0006	0.046364
3	338	0.067614	36	0.0072	0.135310
4	919	0.183837	309	0.0618	0.133038
5	1297	0.259452	1061	0.2122	0.009500
6	1293	0.258652	1883	0.3766	0.044313
7	704	0.140828	1223	0.2446	0.057291
8	278	0.055611	430	0.0860	0.013248
9	70	0.014003	54	0.0108	0.000832
10	13	0.002601	1	0.0002	0.006158

1. 各分箱的 psi 求和

psi = psi_df['psi'].sum()

print(psi)
# 0.4533650280982507

通过上述代码实现可以看出：特征漂移实际是在计算预期数据和实际数据的分布差异情况。。

工程中的实际应用：PSI 和 CSI

PSI

以回归算法 ElasticNet() 拟合 y = a1*x1 + a2*x2 + a3*x3 + b 函数为例演示 psi 在工程中的使用。

size = 5000
# 合成训练需要的数据
x1 = np.random.normal(loc = 0, scale = 2, size = size)
x2 = np.random.normal(loc = 3, scale = 1, size = size)
x3 = np.random.normal(loc = 5, scale = 2, size = size)
y = [-2*x1 + 3.1415*x2 + 2.7183*x3 + 1.6180 for (x1, x2, x3) in zip(x1,x2,x3)]

# 划分训练集和验证集
X = pd.DataFrame({'x1': x1, 'x2': x2, 'x3': x3})
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.2)

# 训练模型（该模型尽可能拟合出 y = a1*x1 + a2*x2 + a3*x3 + b 表达式）
model = ElasticNet()
model.fit(X_train, y_train)

# 验证结果（模型线下的评测结果）
y_pred = model.predict(X_test)

# 再合成生产环境（线上）数据
z1 = np.random.normal(loc = 0, scale = 2, size = size)  
z2 = np.random.normal(loc = 3.5, scale = 0.75, size = size)  
z3 = np.random.normal(loc = 8, scale = 3, size = size)
# 计算模型的线上推理结果
Z = pd.DataFrame({'x1': z1, 'x2': z2, 'x3': z3})
z_pred = model.predict(Z)

"""
此时线下模型效果 y_pred 和线上模型效果 z_pred 都是一维的，令 p2 = y_pred, a2 = z_pred。
套用“PSI 代码实现部分”就可以计算出群体性稳定指标 PSI，最终判定出模型稳定性处于什么程度。
"""

通过计算 训练模型时的推理结果 和 线上模型的推理结果 的 psi 就能初步得出模型的稳定程度。

CSI

psi 只能宏观判断出模型的稳定程度，如果不稳定，到底是哪些特征引起的不稳定？此时就需要使用特征稳定性指标（CSI）进行判断。计算方式没有什么变化，只是用的数据不一样而已。

上述代码中训练数据特征 x1、x2、x3，线上数据特征 z1、z2、z3。

令 p2 = x1, a2 = z1, 计算出 psi1;
令 p2 = x2, a2 = z2, 计算出 psi2;
令 p2 = x3, a2 = z3, 计算出 psi3;
通过 psi* 就能看出是哪个特征引起的不稳定。

名词解释

1. 在机器学习中，回归和分类分别适用什么场景？

   归回使用预测值连续的场景。回归问题的目标是找到输入特征与输出值之间的关系，以便能够对未知数据进行预测。房价预测就是个典型的回归问题。分类问题适用于样本划分不同类型的场景。当目标变量是离散的、具有预定义类别的数据时，分类算法被用来预测样本的类别。分类任务的目标是构建一个模型，该模型根据输入特征将样本划分到正确的类型中。垃圾邮件分类就是分类问题。

2. 模型评价指标已经能判断模型效果了，为什么还要用 psi 判断要不要重新训练模型？

   两种评价的目的不一样，模型指标是判断模型训练的好不好，准确率有多高，能不能投产使用。psi 是模型已经上线了，受环境影响生产中的数据时刻在变化，psi 判断当前模型能不能适应这些变化的数据。psi 还有个作用是用来筛选特征。

参考资料

https://towardsdatascience.com/checking-model-stability-and-population-shift-with-psi-and-csi-6d12af008783