同花顺Supermind量化交易 数据处理专题2--去极值、标准化、中性化

一般的数据预处理中常提及到三类处理：去极值、标准化、中性化。我们将向大家讲述这常见的三种数据处理操作。

数据处理专题：去极值、标准化、中性化

导语：一般的数据预处理中常提及到三类处理：去极值、标准化、中性化。我们将向大家讲述这常见的三种数据处理操作。

一、去极值

在分析上市公司当季净利润同比增长率数据时，我们往往会被其中一些公司的数据干扰，如图中江西长运，2017三季度净利润同比增长率高达32836.04%！而实际上大部分公司的当季净利润同比增长率的数值都远远达到这个值的百分之一。那么数据去极值操作就显得尤为关键，可以剔除掉数据干扰项，提高数据结论的准确性。

一般去极值的处理方法就是确定该项指标的上下限，然后超过或者低于限值的数据统统即为限值。其中上下限数值判断标准有三种，分别为 MAD、 3σ、百分位法。

　　以沪深300成分股的pe值为原始数据，向大家阐述MAD、 3σ、百分位法。

In [1]:

import numpy as np
import pandas as pd
import math
from statsmodels import regression
import statsmodels.api as sm
import matplotlib.pyplot as plt 

date='20180125'
stock=get_index_stocks('000300.SH',date)
q