数据变换的小技巧（经常更新）

引子

作为一个小白数据挖掘工程师，如何处理分布不均匀的数据是我们遇到的第一个难题，也是工作中最常见的问题之一。

何谓数据分布不均匀？比如用户做一道题的做题时间长度（简称做题时长），在理想状态下应该是正态分布的，即大部分人做题时长在一个合理位置（如3~5分钟），做题时间很长or很短的人应该很少。但实际情况总是这样的吗？非也。由于不论是做题时长、房价还是人的收入，这些变量总有一个下限，却没有上限。这就导致有些做题时长超级长、收入超级高的人，将概率分布从正态的拉成了右偏的，即长尾分布。这样数据显然是不够完美的，因为这样的数据不论是采取均匀的数据分箱，还是直接建模，都会导致大量数据的差别较小。那我们直接将之切除长尾？大多时间也不合适——这时候，数据变换就要粉墨登场了。

本文记录我在实际工作中碰到的有效的数据变换实例，并稍加解释：

---

数据变换实例

• 长尾分布（右偏）【注意，右偏的“右”指的是长尾的位置，不是峰的位置！】：
  • 代表例子：房价分布、收入分布、做题时长分布
  • 行之有效的处理方式：对数变换【ln(y)】、平方根变换
  • 若数据中存在负数、无法进行对数or平方根变换怎么办？——加上一个常数后化为正数、再进行变换。
• 左偏分布：
  • 代表例子：普通人寿命分布：
  • 行之有效的处理方式：平方函数【y^2】、指数函数【e^y】
• 对偏态分布的懒人方案：Box-cox转换
• 对周期性特征进行sin、cos函数变换：
  • 原因：有些特征具有周期性质。如一整天内医院客流量、如一年四季的风向、一周七天的超市人流量等等，原本0时和23时的数据应该较为接近，但若你直接采用时间数据，就相当于打破了这个时间循环。因此可以将时间周期（如24时）变换到0~π之间，然后0：00和23：00对应的数据就会在空间中较为接近了