data preprocessing数据预处理

先放一个github学习链接Data PreProcessing

sklearn中fit, transform的作用

fit方法是用于从一个训练集中学习模型参数，其中就包括了归一化时用到的均值，标准偏差。transform方法就是用于将模型用于位置数据，fit_transform就很高效的将模型训练和转化合并到一起，训练样本先做fit，得到mean，standard deviation，然后将这些参数用于transform（归一化训练数据），使得到的训练数据是归一化的，而测试数据只需要在原先得到的mean，std上来做归一化就行了，所以用fit_transform就行了。

Encoding categorical data编码分类数据

这里的分类数据指的是将数据集中的类别标签进行encoder
OneHotEncoder创建虚拟变量，这个博主解释的很通透

Feature Scaling特征缩放

StandardScaler 标准化，归一化处理，主要为了消除量纲对不同属性之间的差异的影响，且是针对每一个特征维度来做的，而不是针对样本。
公式为：(X-mean)/std 计算时对每个属性/每列分别进行。

将数据按期属性（按列进行）减去其均值，并处以其方差。得到的结果是，对于每个属性/每列来说所有数据都聚集在0附近，方差为1标准化（Z-Score），或者去除均值和方差缩放