PSM是什么?什么时候会用到PSM?
PSM(Propensity Score Matching)倾向性评分匹配,是使用非实验数据或观测数据进行干预效应分析的一类统计方法。
为了研究某项措施或是某个行为对人群的影响(例如吸烟对健康的影响,读北大对收入的影响),或者互联网中某项措施对于用户的影响,最直接有效的评估方法是我们从大量的样本中随机选择对照组(control group)和实验组(treated group),保证这些用户在实验前的一致性(通过aa test),然后进行AB test,之后来评估效果。
而在现实中,由于一些因素,并不能有效的开展上述实验,例如不能强迫可以上北大的人不上北大吧,以及组织实验者来吸烟吧。在这种情况下,我们期望能够引入一种方法来找到有效的对照组,以此来评估该项措施的效果。(具体PSM的假设原理和合理性在此不作过多的讨论)
结合Python将具体介绍PSM的实现方式(本文介绍的Python实现方式基于Python 3.X)
数据预处理
引用包import warnings
warnings.filterwarnings('ignore')
import pandas as pd
import numpy as np
%matplotlib inline
import os
from scipy import stats
import matplotlib.pyplot as plt
import patsy
import sys
from statsmodels.genmod.generalized_linear_model import GLM