- 博客(3)
- 收藏
- 关注
RSS订阅原创 深入解析XGBoost——算法原理篇
XGBoost，大家都谓之比赛大杀器，凭借着效果好，速度快，支持不同基学习器和自定义损失函数等优点一路高歌猛进，根据Kaggle在2015年的统计，在29支冠军队中，有17支用的是XGBoost，其中有8支冠军队只用了XGBoost。但是（传奇的故事都有个但是），关于XGBoost的论文是在2016年才发表的，可见神器必有其非凡的经历。闲话少叙，开始正题。本文基于XGBoost作者陈天奇的文章：XGBoost: A Scalable Tree Boosting System，尝试解答XGBoost为什么具有
2021-06-27 22:18:00
358
1
原创 损失函数、代价函数、目标函数
Q：机器学习中的损失函数、代价函数、目标函数有什么联系和区别？A：在监督学习中，损失函数用来评估模型的预测值和真实值不一致的程度。简单理解损失函数、代价函数、目标函数有这样的区别：损失函数 ∣yi−f(xi)∣|y_i-f(x_i)|∣yi−f(xi)∣，一般是针对单个样本，算的是一个样本的误差代价函数 1N∑i=1N∣yi−f(xi)∣\frac{1}{N}\sum_{i=1}^{N}|y_i-f(x_i)|N1∑i=1N∣yi−f(xi)∣，一般是针对整个训练集上，是所有样本误差的平
2021-06-12 23:01:16
229
3
原创 非侵入式Self-attention多维信息融合
Bert模型自2018年提出至今依旧辉煌热度不减，其在自然语言领域取得的成绩非常注目。一些研究已经将Bert应用在了序列数据的处理上，比如序列推荐场景下。然而在推荐场景下除了item序列之外，还有存在与序列item相关的额外信息（如用户在item的驻留时长、item类型等），又因为Bert模型只使用一种token序列作为输入，所以如何将与token相关的额外信息融合到模型，以及融合模型是否能提升模型性能成为一个新的研究方向。Bert的强大是不能缺少的self-attention机制的贡献的。正是由于Sel
2021-06-12 22:58:59
546
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人