scikit-learn中的数据归一化
在机器学习使用数据归一化的时候有一个重要的注意事项
我们对训练数据进行均值和方差的处理,得到mean_train以及std_train,但是在对测试数据进行归一化的时候,是不能直接用测试数据的均值和方差来进行归一化的,应该使用训练数据的均值和方差对测试数据进行均值方差归一化
为什么要这样做呢,我们训练这个模型是为了在真实的环境中去使用的,测试数据是模拟真实的环境,但是真实环境很有可能是没法得到所有的测试数据的均值和方差的,是很难得到这种统计数据的,另外,对数据的归一化也是算法的一部分,我们针对后面来的数据,应该也对其进行这样的处理
那么我们就必须要保存训练数据集得到的均值和方差
整体流程
实际操作(以鸢尾花为例)
x前十行的内容(并未进行归一化处理)