1.5高阶特征交叉方案： GBDT+LR
FM模型族通过引入特征隐向量等进行了二阶的特征交叉，但进一步进行三阶的特征交叉会面临组合爆炸和计算复杂度过高的问题。于是2014年Facebook提出基于GBDT+LR组合模型的解决方案。
注意该方法中GBDT和LR模型是分开训练的。
-
GBDT进行特征转化的过程
该算法的出现，表示着特征工程可由模型完成，从而实现端到端训练。
附录
附录1：梯度提升树（Gradient Boosting Decision Tree， GBDT）是一种j基于决策树的集成算法，其通过加性法则以及贪心准则集成决策树，
D n ( x ) = d t r e e 1 ( x ) + d t r e e 2 ( x ) + ⋯ + d t r e e n ( x ) D_n(x)=d_{tree1}(x)+d_{tree_2}(x)+\dots +d_{tree_n}(x) Dn(x)=dtree1(x)+dtree2(x)+⋯+dtreen(x)
其中子树 t r e e i tree_i treei的目标函数为
m i n θ i ∑ j l ( y j − D i − 1 ( x j ) , d t r e e i ( x j ) ) min_{\mathbf{\theta}_i} \sum_j l(y_j-D_{i-1}(x_j),d_{tree_i}(x_j)) minθij∑l(yj−Di−1(xj),dtreei(xj))
1235
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
