关闭

【每日视野】2016-08-26

标签: xgboostfm
329人阅读 评论(0) 收藏 举报
分类:

fm, ffm

fm相对于一般的lr,它的好处在于
1. 引入了交叉项;
2. 对一些从未见过的例子也能做出预测。比如:以前只有女性看化妆品的例子,现在要求男性看化妆品的概率。 理论上讲,如果完全拟合,两个隐向量乘出来得到的值应该也是0,但是由于正则项的存在,就能得到一个合理的值。

ffm就是加入了Field(域)的概念,同一个域内的特征不会互相叉乘。

fm的隐向量如果乘出来系数很高,那么可以让lr去加入这个交叉特征,这有点类似于GBDT与LR的融合。

附两个介绍FM的文章链接
http://tech.meituan.com/deep-understanding-of-ffm-principles-and-practices.html
http://www.52caml.com/head_first_ml/ml-chapter1-regression-family/

xgboost

xgboost的有个参数是min_child_weight, 那么它所谓的hessian值究竟意义何在?
每次更新的权重是和hessian值有关,但是叶子上的score并不等于hessian值,我的理解是这里应该是min_child_weight = score * num_of_samples,所以这里还没想明白。

附相关链接
1. 另一个人也问了hessian的问题
2. chentq的ppt
3. xgboost 浅入浅出
4. xgboost调参指南

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:8289次
    • 积分:251
    • 等级:
    • 排名:千里之外
    • 原创:15篇
    • 转载:0篇
    • 译文:0篇
    • 评论:0条