11、数据预处理与降维技术详解

数据预处理与降维技术详解

1. 数据缩放与预处理

1.1 数据缩放后的特征最值

在数据预处理过程中，我们常常需要对数据进行缩放操作。以 MinMaxScaler 为例，对数据进行缩放后，每个特征的最大值在训练集上通常会变为 1。例如：

per-feature maximum after scaling:
 [ 1.  1.  1.  1.  1.  1.  1.  1.  1.  1.  1.  1.  1.  1.  1.  1.  1.  1.
  1.  1.  1.  1.  1.  1.  1.  1.  1.  1.  1.  1.]

这表明经过缩放后，训练集的特征值都被缩放到了 0 到 1 的范围内。然而，当我们对测试集进行同样的缩放操作时，情况可能会有所不同。

1.2 测试集缩放后的特征最值

对测试集进行缩放后，其特征的最小值和最大值可能并非严格的 0 和 1，甚至有些特征值会超出 0 - 1 的范围。例如：

per-feature minimum after scaling: [ 0.03  0.02  0.03  0.01  0.14  0.04  0.    0.    0.15 -0.01 -0
  0.    0.    0.04  0.01  0.    0.   -0.03  0.01  0.03  0.06  0.02  0.01
  0.11  0.03  0.    0.   -0.   -0.  ]
per-feat