数据预处理之 标准化/正则化 处理

标准化（Scale）和正则化（Normalization）是两种常用的数据预处理方法，其作用是让数据变得更加“规范”一些。在文本聚类等任务中使用的比较多。

针对某数据，如果不适用数据标准化、正则化，展示的情况如下图

1.数据标准化

公式为：(X-mean)/std  计算时对每个属性/每列分别进行。将数据按期属性（按列进行）减去其均值，并处以其方差。得到的结果是，对于每个属性/每列来说所有数据都聚集在0附近，方差为1。经过数据标准化的数据如下图：可以看到有些特征被凸显出来了。