在处理数据的时候,经常会涉及到标准化问题。
数据的标准化(normalization)是将数据按比例缩放,使之落入一个小的特定区间。在某些比较和评价的指标处理中经常会用到,去除数据的单位限制,将其转化为无量纲的纯数值,便于不同单位或量级的指标能够进行比较和加权。
一、数据标准化分类
1. 极差的标准化
一批样本中,每个特征的最大值与最小值之差,称为极差。
已知两个样本,每个样本有n个特征:
极差/全距的计算:
极差标准化计算:
2. 方差标准化
计算公式:
其中,Si为样本方差
标准化的方法很多,原始数据是否应该标准化,应采用什么方法标准化,都要根据具体情况来定。
二、标准化有哪些方法?
2.1 规范化方法
规范化方法也叫也叫离差标准化,是对原始数据的线性变换,使结果映射到[0,1]区间。
2.2 正规化方法
- 这种方法基于原始数据的均值(mean)和标准差(standard deviation)进行数据的标准化。将A的原始值x使用z-score标准化到x’。
- z-score标准化方法适用于属性A的最大值和最小值未知的情况,或有超出取值范围的离群数据的情况。
- spss默认的标准化方法就是z-score标准化。
- 用Excel进行z-score标准化的方法:在Excel中没有现成的函数,需要自己分步计算,其实标准化的公式很简单。
步骤如下:
1.求出各变量(指标)的算术平均值(数学期望)xi和标准差si ;
2.进行标准化处理:zij=(xij-xi)/si
其中:zij为标准化后的变量值;xij为实际变量值。
3.将逆指标前的正负号对调。
标准化后的变量值围绕0上下波动,大于0说明高于平均水平,小于0说明低于平均水平。
2.3 归一化方法
其中,归一化算法有:
- 线性转换:y=(x-MinValue) / (MaxValue-MinValue)
- 对数函数转换:y=log10(x)
- 反余切函数转换:y=atan(x)*2/PI
- 线性也与对数函数结合
整理不易...