Target Encoding

Target Encoding

• 二分类问题：
  记号：
     T a r g e t   Y ∈ { 0 , 1 } , C a t e g o r i c a l   f e a t u r e   X i Target\text{ }Y\in\{0,1\}, Categorical \text{ }feature\text{ }X_i Target Y∈{0,1},Categorical feature Xi​
  对于这样的问题，我们将类别特征$X_i$转为为估计概率值：
  $$X_i\to S_i=P_i(Y|X=X_i)\text{\hspace{1em}(1)}$$
  进一步的：
  $$S_i=\frac{n_{iY}}{n_i}\text{\hspace{1em}(2)}$$
  $n_{iY}$表示$Y_i=1$在$X=X_i$的取值下的个数
  在大多数情况下，由于特征的类别较多或者是数据分布不平均，采用如上估计方式将变得不可靠，可以采用如下方式进行计算:
  $$S_i=\lambda (n_i)\frac{n_{iY}}{n_i}+(1-\lambda (n_i))\frac{n_Y}{n_{TR}}\text{\hspace{1em}(3)}$$
  这种方式考虑后验与先验的加权形式，使用函数$\lambda (n_i)$来加权，$n_i$越大则后验所占的比例越大
• $\lambda$函数的选取：
  $$\lambda (n)=\frac{1}{1+e^{-\frac{n-k}{f}}}$$
  如上函数，超参数为$k$与$f$，$k$决定了我们相信后验的n值的一半，$f$控制了先验与后验之间的转移速率，$f$越大越趋于平滑
  $$\lambda (n)=\frac{n}{m+n}$$
  超参数为只有一个$m$，相对于上式的$f$与$k$更好调参
• 缺失值处理：
  将缺失值看为新的一类，如$(3)$一样计算
  $$S_0=\lambda (n_0)\frac{n_{0Y}}{n_i}+(1-\lambda (n_0))\frac{n_Y}{n_{TR}}$$
• 连续值问题：
  $$S_i=\lambda (n_i)\frac{{\sum }_{k\in L_i}{Y}_k}{n_i}+(1-\lambda (n_i))\frac{{\sum }_{k=1}^{N_{TR}}{Y}_k}{n_{TR}}$$
• 多分类问题：
  m分类问题，产生$m-1$个特征，每一个特征分别表示第$i$类的概率
• 层级结构问题：
  有些类别特征存在层级结构，ip地址，邮政编码等，在处理这样的类别特征时可以做如下处理
  假设层级存在$L_1,L_2,L_k,...$，数字越小表明层级越高，如中国($L_1$)，江苏($L_2$)，南京($L_3$)
  $$S_i^5=\lambda (n_i)\frac{n_{i1}}{n_i}+(1-\lambda (n_i))\frac{n_Y}{n_{TR}}$$
  $$S_i^5=\lambda (n_i)\frac{n_{i1}}{n_i}+(1-\lambda (n_i))S_i^4$$
  $$S_i^5=\lambda (n_i^5)\frac{n_{i1}^5}{n_i^5}+(1-\lambda (n_i^5))(\lambda (n_i^4)\frac{n_{i1}^4}{n_i^4}+(1-\lambda (n_i^4))\frac{n_Y}{n_{TR}})$$