K最近邻（KNN）算法（二）

一. 数据归一化

1.1 为什么要数据归一化

通过KNN算法的实践中，样本的不同特征的单位不同，会在求距离时造成很大的影响。比如：在两个样本中肿瘤大小的分别为1cm和5cm，发现时间分别为100天和200天，那么在求距离时，时间差为100、大小差为4，那么其结果会被时间所主导，因为肿瘤大小的差距太小了。但是如果我们把时间用年做单位，0.27年与0.55年的差距又远小于肿瘤大小的差距，结果又会被大小主导

通过数据归一化，可以把有量纲的数据，经过变换，转化为没有量纲的数据。利用数据归一化的方法，可以把数字统一映射到比较小的区间里面，这样就不会受到单位不同的影响

1.2 数据归一化方法

• 最值归一化(normalization)： 最值归一化的使用范围是特征的分布具有明显边界，存在上下限的数据
  x_scale = (x - x_min) / (x_max - x_min)

• 均值方差归一化(standardization)： 所有数据归一到均值为0方差为1的分布中。适用于数据中没有明显的边界，有可能存在极端数据值的情况
  x_scale = (x - x_mean) / x_std
  其中 x_mean 代表平均值，x_std 代表统计学中的标准差

1.3 代码实现

对测试数据集进行归一化时，仍然要使用训练数据集的均值train_mean和方差std_train。这是因为测试数据是模拟的真实环境，真实环境中可能无法得到均值和方差，对数据进行归一化。所以后面所有的数据，也应该做同样的处理，sklearn中处理方法即：
X_test_scale = stardardScaler.transform(X_test)

from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier

# 加载鸢尾花数据集
iris = datasets.load_iris()

# 提取数据集中的特征数据
X = iris.data
y = iris.target

# 把数据集划分为训练数据集和测试数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)

# 对象实例化
stardardScaler = StandardScaler()

# 类似于模型的训练过程
stardardScaler.fit(X_train)

# 使用 transform 实现均值方差归一化
X_train_scale = stardardScaler.transform(X_train)

# 不要对X_test进行训练，直接调用前面训练好的模型进行归一化
X_test_scale = stardardScaler.transform(X_test)

# 调用 K-近邻算法
knn = KNeighborsClassifier(n_neighbors=3)
knn.fit(X_train_scale, y_train)

# 对算法进行评分
print('算法评分:', knn.score(X_test_scale, y_test))

2. 待补充