数据规范化
数据规范化(归一化)处理是数据挖掘的一项基础工作。不同评价指标往往具有不同的量纲,数值见的差别可能很大,不进行处理可能会影响到数据分析的结果。为了消除指标之间的量纲和取值范围差异的影响,需要进行标准化处理,将数据按照比例进行缩放,使之落入一个特定的区域,便于进行综合分析。如将工资收入属性值映射到[-1, 1]或者[0, 1]内。
== 数据规范化对于基于距离的挖掘算法尤为重要。==
最小-最大规范化
最小-最大规范化也称为离散标准化,是对原始数据的线性变换,将数据值映射到[0, 1]之间。
转换公式如下:
(
n
u
m
−
m
i
n
)
(
m
a
x
−
m
i
n
)
∗
(
m
a
x
n
e
w
−
m
i
n
n
e
w
)
+
m
i
n
n
e
w
{(num - min) \over (max - min) }* (max_{new} - min_{new}) + min_{new}
(max−min)(num−min)∗(maxnew−minnew)+minnew
离差标准化保留了原来数据中存在的关系,是消除量纲和数据取值范围影响的最简单方法。这种处理方法的缺点是若数值集中且某个数值很大,则规范化后各值接近于0,并且将会相差不大。(如 1, 1.2, 1.3, 1.4, 1.5, 1.6,8.4)这组数据。若将来遇到超过目前属性[min, max]取值范围的时候,会引起系统报错,需要重新确定min和max。
零-均值规范化(z-score标准化)
x ∗ = x − x a v e S 标 准 差 x^* = x - x_{ave}\over S_{标准差} S标准差x∗=x−xave
小数定标规范化
x
∗
=
x
1
0
k
x^* = x \over10^k
10kx∗=x
https://blog.csdn.net/weixin_38706928/article/details/80329563