数据标准化(归一化)处理是数据挖掘的一项基础工作,不同评价指标往往具有不同的量纲和量纲单位,这样的情况会影响到数据分析的结果,为了消除指标之间的量纲影响,需要进行数据标准化处理,以解决数据指标之间的可比性。原始数据经过数据标准化处理后,各指标处于同一数量级,适合进行综合对比评价。以下是两种常用的归一化方法:
1、min-max标准化(Min-Max Normalization)
也称为离差标准化,是对原始数据的线性变换,使结果值映射到[0 - 1]之间。转换函数如下:
其中max为样本数据的最大值,min为样本数据的最小值。这种方法有个缺陷就是当有新数据加入时,可能导致max和min的变化,需要重新定义。
下面是已知数组data_array[N],对其进行归一化的C++代码的实现。
/*****************************************/
int main()
{
double max;
double min;
int L = sizeof(data_array)/sizeof(data_array[0]);
max = find_max(L,data_array)*2;
min = find_min(L,data_array);
GYH(data_array, data_array_gyh,max,min,L);
for (;;);
return 0;
}
double find_max(int l, double* a)
{
double temp = 0;
for (int i = 0; i < l; i++)
{
if (temp < a[i])
{
temp = a[i];
}
}
printf("max:%f\n", temp);
return temp;
}
double find_min(int l, double* a)
{
double temp = 100000;
for (int i = 0; i < l; i++)
{
if (temp > a[i])
{
temp = a[i];
}
}
printf("min:%f\n", temp);
return temp;
}
//归一化
void GYH(double* a,double* b, double max, double min, int l)
{
for (int i = 0; i < l; i++)
{
b[i] = (a[i] - min) / (max - min);
}
}
//反归一化
void FGYH(double* a, double* b, double max, double min, int l)
{
for (int i = 0; i < l; i++)
{
b[i] = a[i] * (max - min) + min;
}
}
二、Z-score标准化方法
这种方法给予原始数据的均值(mean)和标准差(standard deviation)进行数据的标准化。经过处理的数据符合标准正态分布,即均值为0,标准差为1,转化函数为:
其中μ为所有样本数据的均值