一个简单的标准化可视化（numpy+sklearn+matplotlib）

数据集的标准化是许多机器学习估计器的常见要求：如果各个特征或多或少看起来不像标准正态分布数据（例如均值和单位方差为 0 的高斯分布），那么它们可能会表现得很糟糕。

比如支持向量机，是否标准化，可能对结果有很大的影响

但是，随机森林，是否标准化，就影响不是很大

（文章最后会放出我的实验，同样的数据集，同样的处理方案，标准化前后，使用svm作为分类器的acc对比）

标准化是通过去除均值并缩放至单位方差来标准化特征。

所以，标准化特征可视化，应该是先选定特征，分析所有的样本在这一特征上 值的分布。

我做流程图中的一个小图，需要将标准化可视化，一开始想直接用别人的图，结果老师说不行，在这里浅浅记录一下我是怎么可视化的。

调用库：

import matplotlib.pyplot as plt
import numpy as np
from sklearn import preprocessing

数据信息：

shape of x_train:(1186, 329)
也就是，x_train包含1186个样本，每个样本包含329个特征

标准化本身很简单：

scaler = preprocessing.StandardScaler().fit(x_train)
x_train = scaler.transform(x_train)

我这里，只可视化，前4个特征标准化前后的图像。

# 取最值是为了确定范围，否则不方便可视化
max_num = -100
min_num = 100
# 取出标准化之前，同一个特征，所有样本的值
unstandardized_features = []
# 转置是为了把同个特征，所有样本的值，拿出来
x_train = x_train.T
# 这个4的意思是：做标准化特征的可视化时，只用前4个特征，可以改成自己需要的参数
for i in range(4):
    min_num = min(min_num, min(x_train[i]))
    max_num = max(max_num, max(x_train[i]))
    unstandardized_features.append(x_train[i])
# 记得转置回去
x_train = x_train.T
# 标准化
scaler = preprocessing.StandardScaler().fit(x_train)
x_train = scaler.transform(x_train)
# 标准化结束
# 取出标准化之后，同一个特征，所有样本的值
x_train = x_train.T
standardized_features = []
for i in range(len(unstandardized_features)):
    min_num = min(min_num, min(x_train[i]))
    max_num = max(max_num, max(x_train[i]))
    standardized_features.append(x_train[i])
x_train = x_train.T
# 经过以上步骤，已经把标准化前后，所有样本的值，都拿出来了
# 接下去的步骤，是在max_num和min_num之间，划分很多个小块，求出标准化前后的特征值 落在每一个小块中的数量
unstandardized_features = np.array(unstandardized_features)
standardized_features = np.array(standardized_features)
# steps 可以自己取别的值
steps = 50 
# 划分很多个小块
gap = (max_num - min_num) / steps
standardized_count = []
unstandardized_count = []
for i in range(len(unstandardized_features)):
    standardized_count.append(np.zeros(steps + 1))
    unstandardized_count.append(np.zeros(steps + 1))
# 求出标准化前后的特征值，落在每一个小块中的数量
for i in range(len(unstandardized_features[0])):
    for j in range(len(unstandardized_features)):
        position = (standardized_features[j][i] - min_num) / gap
        position = int(position)
        standardized_count[j][position] += 1
        position = (unstandardized_features[j][i] - min_num) / gap
        position = int(position)
        unstandardized_count[j][position] += 1
# 可视化部分
x = np.arange(len(standardized_count[0]))
fig, ax = plt.subplots(1, 1)
for i in range(len(unstandardized_features)):
    ax.plot(x, standardized_count[i])
path = "对比实验合集/标准化可视化/"
path_name = path + "standardized_subject" + str(subj)
# 注意：plt.savefig不可以放到plt.show后边
plt.savefig(path_name)
plt.show()
fig, ax = plt.subplots(1, 1)
for i in range(len(unstandardized_features)):
    ax.plot(x, unstandardized_count[i])
path_name = path + "unstandardized_subject" + str(subj)
plt.savefig(path_name)
plt.show()

放上我的可视化结果

标准化前：

标准化后：

标准化前，使用支持向量机：0.5824915824915825

标准化后，使用支持向量机：0.8249158249158249

差距还是很明显的