数据平滑处理——log1p()和exmp1()

今天在做题的时候学到了一点有用的东西，所以这里做个记录分享一下，有关数据预处理的两个函数问题——log1p、expm1

优点：

1. 在数据预处理时首先可以对偏度比较大的数据用log1p函数进行转化，使其更加服从高斯分布，此步处理可能会使我们后续的分类结果得到一个更好的结果；
2. 平滑处理很容易被忽略掉，导致模型的结果总是达不到一定的标准，同样使用逼格更高的log1p能避免复值得问题——复值指一个自变量对应多个因变量；
3. 其它的优点暂时还没发现......

log1p的使用就像是将一个数据压缩到了一个区间，与数据的标准化类似。下面再说说它的逆运算expm1函数。

由于前面使用过log1p将数据进行了压缩，所以最后需要记得将预测出的平滑数据进行一个还原，而还原过程就是log1p的逆运算expm1。

上面介绍了两者的概念和方法的优点，下面说说具体的数学含义：

log1p和expm1的功能：

    log1p :=       即

    expm1 := 

log1p函数有它存在的意义，即保证了x数据的有效性，当x很小时（如 两个数值相减后得到），由于太小超过数值有效性，用计算得到结果为0，换作log1p则计算得到一个很小却不为0的结果，这便是它的意义（好像是用泰勒公式来展开运算的，不确定）。

同样的道理对于expm1，当x特别小，就会急剧下降出现如上问题，甚至出现错误值。

 

在最开始看到这样的处理方式的时候，不是很理解包括为什么是逆运算（一下子没有想到），后来慢慢摸索就优点清晰了，比如为什么两这是逆运算（简单处理）：

是e为底的对数，是e为底的指数，根据对数的规则，再进行变换推导可以得到：

    

可以看到x经过对数的处理后，再经过指数处理再次得到x，这里对两者的逆运算做了简单的介绍。

另外RMSLE（均方根对数误差）会更多的惩罚欠拟合，所以在使用该误差定义时我们也可以用到上面的函数：

1. np.loglp计算加一后的对数，其逆运算是np.expm1；
2. 采用此误差函数时，可以先对原始数据做np.log1p，再使用RMSE。