sklearn数据预处理：fit，transform及fit_transform

数据预处理中的方法：

Fit(): Method calculates the parameters μ and σ and saves them as internal objects.
解释：求训练集X的均值，方差，最大值，最小值等固有属性，是一个训练过程。

Transform(): Method using these calculated parameters apply the transformation to a particular dataset.
解释：在Fit的基础上，进行标准化，降维，归一化等操作（看具体用的工具，PCA、SVD、StandardScaler等）。

Fit_transform(): joins the fit() and transform() method for transformation of dataset.

fit_transform是fit和transform的组合，既包括了训练又包含了转换。

transform()和fit_transform()二者的功能都是对数据进行某种统一处理（比如标准化~N(0,1)，将数据缩放(映射)到某个固定区间，归一化，正则化等）。

fit_transform(trainData)对部分数据先拟合fit，找到该part的整体指标，如均值、方差、最大值最小值等等（根据具体转换的目的），然后对该trainData进行转换transform，从而实现数据的标准化、归一化等等。

       根据对之前部分trainData进行fit的整体指标，对剩余的数据（testData）使用同样的均值、方差、最大最小值等指标进行转换transform(testData)，从而保证train、test处理方式相同。所以，一般都是这么用：

from sklearn.preprocessing import StandardScaler
# 标准化数据，保证每个维度的特征数据方差为1，均值为0，使得预测结果不会被某些维度过大的特征值而主导
ss = StandardScaler()
#fit_transform()先拟合数据，再标准化
X_train = ss.fit_transform(X_train)
#transform()数据标准化
X_test = ss.transform(X_test)

注意：
       必须先用fit_transform(trainData)，之后再transform(testData)
       如果直接transform(testData)，程序会报错
       如果fit_transfrom(trainData)后，使用fit_transform(testData)而不transform(testData)，虽然也能归一化，但是两个结果不是在同一个“标准”下的，具有明显差异。(一定要避免这种情况)