摘要:
量化研究就像烹饪美食,不同类型的数据好比各种食材,在入锅之前都需要洗菜、择菜,而对数据的洗择过程称之为数据预处理。根据不同类型的数据有不同的数据预处理方法,其中,针对因子研究,最常用的预处理方法就是:去极值、标准化和中心化。
本期将分别对上述三种常用的因子预处理方法的含义进行介绍,并使用优矿数据预处理函数对市盈率因子进行预处理。
一、去极值
为啥要去极值?
顾名思义,去极值就是排除一些极端值的干扰,为什么要排除极端值呢?为更好的帮助大家理解,本期邀请了著名的灵魂画手:
第一幅图是去极值的情况:对X与Y进行线性拟合,就可以清晰的发现X和Y之间的线性规律
第二幅图是保留极值的情况:图上部黄圈内是两个明显的极端值,如果未去极值直接进行线性回归,拟合出来的橘色线2明显无法很好的解释X和Y之间的规律。
因此,只有排除极端值的干扰,才能更好的发现数据之间的规律。
如何去极值呢?
第一步:找出哪些是极端值
第二步:处理这些极端值
第一步:
极端值的定义方法有很多,一般是先确定一个上下限,超出这个界限的就划为极端值,下面我们介绍经常使用的两种:3σ法和百分位法。
1、3σ法
3σ法源于最经典的统计学