几种数据规整的方法总结

1. 归一化

（1）Maximum Normalization 【0，1】   t'_{i} = t_{i} / max(t)

 ( 2 ) Min-Max Normalization  【0，1】    t'_{i} = ( t_{i} - min(t) ) / ( max(t) - min(t) )

        以上两方法适用最大最小值已经确定，且后面不会再出现更大或更小值的情况。

 ( 3 ) Atan Normalization  【-1，1】  t'_{i} = atan(t_{i})*2/pi

（4）log Normalization 【0，1】 t'_{i} = log_max(t) ( t_{i} )  Note: 要求所有t_{i}>=1

 ( 5 ) Decimal Scaling  【-1，1】 t'_{i} = t_{i} / 10^{j}    其中，j是让max(|t|)/10^{j}小于1的最小数。

 ( 6 ) Cosine Normalization 【0，1)   t'_{i} = t_{i} / sqrt( t_1^2 + t_2^2 + ... + t_n^2 )

 

2. 其他规整

 （1）Z-socre   t'_{i} = t_{i} - E(t) / std(t)

         z-score适用于属性A的最大值和最小值未知的情况，或有超出取值范围的离群数据的情况。

 

3. TF的规整

 （1）上面提到的 Maximum Normalization, Cosine Normalization

  ( 2 )  Augmented Maximum Normalization   t'_{i} = 0.5 + 0.5 * t_{i} / max(t)

  ( 3 )  Logarithm   t'_{i} = 1 + log( t_{i} )

  ( 4 )  BM25:

          |D| 当前文档长度， avgdl平均文档长度， k1一般为1.2, b为0.75