GBDT分类问题

GBDT分类问题

GBDT处理分类问题的做法类似于LR方法.
$$LR:P(y=1|X)=sigmoid(W^{T}X)=\frac{1}{1+e^{-W^{T}X}}(1)$$
$$GBDT:P(y=1|X)=sigmoid(G(X))(2)$$

二分类问题

GBDT做分类问题本质上是将GBDT的回归值转化为概率问题。
GBDT通过sigmoid函数将原始的回归输出值转化为概率问题。类比于LR的交叉熵损失函数：
$$L=-\sum _{i=1}^n{y}_{i}log(p_i)+(1-y_i)log(1-p_i)(3)$$
带入公式（1）
L L R = − ∑ i = 1 n y i l o g ( 1 1 + e − W T X ) + ( 1 − y i ) l o g ( 1 − 1 1 + e − W T X ) = ∑ i = 1 n − y i W T X + l o g ( 1 + e W T X ) ( 4 ) L_{LR}=-\sum_{i=1}^ny_ilog(\frac{1}{1+e^{-W^TX}})+(1-y_i)log(1-\frac{1}{1+e^{-W^TX}}) \\ =\sum_{i=1}^n-y_iW^TX+log(1+e^{W^TX})\qquad(4) LLR​=−i=1∑n​yi​log(1+e−WTX1​)+(1−yi​)log(1−1+e−WTX1​)=i=1</