倾斜数据的处理

一般认为，倾斜的数据就是严重不对称的数据。不倾斜的数据就是数据落在均值两侧的概率大致相同。可以通过直方图来看。

一般来说，如果最大值和最小值的比例超过20，那么数据倾斜的可能性就很大了。

同时，数据的倾斜可以用计算公式来估算，估算方式如下：

如果数据不倾斜的话，那么该值近似为0，右倾斜的话，大于0，左倾斜的话小于0. 可以通过平方跟，取对数，取倒数等方式来消除数据倾斜问题。这几种方式可统一在如下公式中：

lamda=2就是平方，0.5是开方，-1是倒数。有了训练数据之后，可以估算lamda的值（注意，lamda的值可以是任意值）。

Box and Cox (1964) 提出了用最大似然估计的方法来估算lamda的值。