matlab标准化和反标准化——zscore

在此所说的归一化是指对特征的每一维度分别做归一化. 这里的归一化又称为标准化.SVM是线性分类器,貌似不对特征做归一化并不会对最终的实验结果产生较大影响. 可是在实验中可发现, 如果不同维特征量级相差过大,我们很可能会得到很差的测试结果. 有些人的看法很不错,认为在机器学习中对特征做归一化目的有:

1,避免训练得到的模型权重过小,引起数值计算不稳定;

2,使参数优化时能以较快的速度收敛.

归一化时可以采用对应维度均值与方差.如果采用matlab实现特征的标准化,可以利用命令zscore,.

Z = zscore(X)
[Z,mu,sigma] = zscore(X)
[...] = zscore(X,1)
[...] = zscore(X,flag,dim)

其中,Ｘ每一行对应一个样本,每一列对应一维特征.

先说一下一个小疑问：

目前所了解的归一化概念有点模棱两可，目前可能有三种理解

假设矩阵Ａ大小ｎ＊ｍ，ｎ代表样本数，ｍ代表每一个样本的维度

①单独对每一列(全部样本的同一个属性)进行归一化

②单独对每一行(一个样本的所有的属性)进行归一化

③对整个矩阵Ａ进行归一化

这三个理解都能达到所有数据变换到[0,1]的效果。

然后，正确的答案是：归一化是针对相同维度进行的，即①的理解。但是对于③，我认为也是可取的，也可以作为正确答案

举个例子，比如人的属性是颜色，身高，年龄。如果你对每一个人进行归一化，很可能把颜色归一化成一样的了，毕竟每一个人自己的几个属性的方差是不相同的，不排除存在这种可能，使得某种属性在归一化以后几乎相等，此时这种属性几乎就会失去作用了。但是对所有人的同一种属性进行归一化，即使也可能与其它维度是值相等了，但是这个属性并不会失去其作用

先来看自带函数zscore的使用

[plain]  view plain  copy

 print ?

1. >> A=[1 2 3;4 5 6];  
2. >> [B,A_mean,A_std]=zscore(A)  
3.   
4. B =  
5.   
6.    -0.7071   -0.7071   -0.7071  
7.     0.7071    0.7071    0.7071  
8.   
9.   
10. A_mean =  
11.   
12.     2.5000    3.5000    4.5000  
13.   
14.   
15. A_std =  
16.   
17.     2.1213    2.1213    2.1213  
18.   
19. >>   

其中A_mean代表A按列求均值，A_std代表每一个列向量的标准差。

接下来看看如何逐步求：

[plain]  view plain  copy

 print ?

1. >> A=[ 1 2 3;4 5 6];  
2. >> A_mean=mean(A,1);  
3. >> A_std=std(A);  
4. >> B=(A-repmat(A_mean,size(A,1),1))./repmat(A_std,size(A,1),1);  
5. >> A_mean  
6.   
7. A_mean =  
8.   
9.     2.5000    3.5000    4.5000  
10.   
11. >> A_std  
12.   
13. A_std =  
14.   
15.     2.1213    2.1213    2.1213  
16.   
17. >> B  
18.   
19. B =  
20.   
21.    -0.7071   -0.7071   -0.7071  
22.     0.7071    0.7071    0.7071  

反标准化用到的是前面求到的两个参数：均值和标准差

[plain]  view plain  copy

 print ?

1. B.*repmat(A_std,size(A,1),1)+repmat(A_mean,size(A,1),1)  
2.   
3. ans =  
4.   
5.      1     2     3  
6.      4     5     6  

所以在进行标准化和反标准化的时候，一定要记住均值和方差。