用pyspark学习《应用预测建模》（二）进一步讨论BoxCox变换

littlehuangnan

于 2022-08-27 22:49:43 发布

阅读量369

点赞数

文章标签：学习

本文链接：https://blog.csdn.net/littlehuangnan/article/details/126563533

版权

本文继续探讨《应用预测建模》中的BoxCox变换，讲解如何通过极大似然估计确定最佳的λ值，以使数据转换后接近正态分布。在scipy中，采用optimize.brent方法寻找最大似然的λ，但在Spark中，由于求最大值需计算梯度，实现起来较为复杂。

摘要由CSDN通过智能技术生成

上一篇说到BoxCox变换，用来把分布显著有偏的数据转换成近似正态分布的数据。

如何确定最佳的λ呢？在scipy中，采用了极大似然估计，因为转换后的y是近似正态分布的，所以最佳的λ就是对数似然最大时对应的λ。

查看scipy源码，在_morestats.py这个文件里，简化后的代码如下：

from scipy import stats,optimize

def boxcox_llf(lmb, data):
    data = np.asarray(data)
    N = data.shape[0]
    if N == 0:
        return np.nan

    logdata = np.log(data)

    # Compute the variance of the transformed data.
    if lmb == 0:
        variance = np.var(logdata, axis=0)
    else:
        # Transform without the constant offset 1/lmb.  The offset does
        # not effect the variance, and the subtraction of the offset can
        # lead to loss of precision.
        variance = np.var(data**lmb / lmb, axis=0)

    return (lmb - 1) * np.sum(lo