使用sklearn进行数据预处理

• 实现平台：BigQuant—人工智能量化投资平台
• 可在文末前往原文一键克隆代码进行进一步研究

1. 数据标准化

数据标准化（Standardization or Mean Removal and Variance Scaling）

进行标准化缩放的数据均值为0，具有单位方差。

scale函数提供一种便捷的标准化转换操作，如下：

同样我们也可以通过preprocessing模块提供的Scaler（StandardScaler 0.15以后版本）工具类来实现这个功能：

2. 特征缩放

2.1 MinMaxScaler(最小最大值标准化)

将数据缩放至给定的最小值与最大值之间，通常是０与１之间

公式：X_std = (X - X.min(axis=0)) / (X.max(axis=0) - X.min(axis=0)) ;

2.2 MaxAbsScaler（绝对值最大标准化）

它通过除以最大值将训练集缩放至[-1,1]。这意味着数据已经以０为中心或者是含有非常非常多０的稀疏数据。

3. 数据规范化（Normalization）

把数据集中的每个样本所有数值缩放到(-1,1)之间。

4. 二进制化（Binarization）

将数值型数据转化为布尔型的二值数据，可以设置一个阈值（threshold）

5. 标签预处理（Label preprocessing）

5.1 标签二值化（Label binarization）

LabelBinarizer通常用于通过一个多类标签（label）列表，创建一个label指示器矩阵

5.2 标签编码（Label encoding）

源码地址：《使用sklearn进行数据预处理》