Target Encoding

翻译自 Kaggle Target Encoding

1. 简介

目标编码，是针对类别特征的。它是一种将类别特征编码为数字特征的方法，就像one-hot编码一样，不同之处在于，Target encoding使用标签来创建编码。这就是我们所说的监督特征工程。

2. 代码

# using target encoding
# Tutorial: https://www.kaggle.com/ryanholbrook/target-encoding
def target_encoding(name, df, m=1):
    df[name] = df[name].str.split(";")
    df = df.explode(name)
    overall = df["label"].mean()
    df = df.groupby(name).agg(
        freq=("label", "count"), 
        in_category=("label", np.mean)
    ).reset_index()
    df["weight"] = df["freq"] / (df["freq"] + m)
    df["score"] = df["weight"] * df["in_category"] + (1 - df["weight"]) * overall
    return df

3. 存在的问题以及解决方案

然而，Target Encoding会带来一些问题。首先是未知的类别。目标编码会产生过拟合的特殊风险，它们需要在独立的“编码”分离上进行训练。当您将编码加入到以后的拆分时，Pandas将为编码拆分中不存在的任何类别填充缺失的值。

其次是稀有的类，当一个类别在数据集中只出现几次时，对其的统计特征可能不是很准确，所以target encoding可能会导致过拟合

解决这些问题的方法是添加平滑，其思想是将类别间的平均数和总体的平均数混合，稀有类别在其类别平均值上权重较低，缺失类别获得总体的平均值。

encoding = weight * in_category + (1 - weight) * overall

weight是根据类别频率计算的在0到1之间的值。
一个比较简单的去确定这个weight的值的方法是计算m-estimate

weight = n / (n + m)

n是该类别在数据中出现的总次数，m是平滑因子，m值越大，总体估计的weight的权重也就越大。

目标编码适合:
1.高基数的特征，具有大量类别的特征编码起来可能很麻烦，onehot编码可能会生成太多的特征。目标编码用他和标签的关系来表征类别。