- 博客(3)
- 收藏
- 关注
RSS订阅原创 XGBoost
原理xbt中的目标函数是有个正则项惩罚复杂模型;将树拆分成结构部分q和叶子部分权重w;构建最优模型的一般方法是最小化训练数据的损失函数，我们用字母 L表示，如下式：式（1）称为经验风险最小化，训练得到的模型复杂度较高。当训练数据较小时，模型很容易出现过拟合问题。因此，为了降低模型的复杂度，常采用下式：其中J(f)为模型的复杂度，式（2）称为结构风险最小化，结构风险最小...
2019-04-08 00:20:19
474
原创 GBDT
GBDT创建日期 星期五 05 四月 2019加法模型加法模型 就是求和,也没啥特殊的;这里的求和举个简单的例子就是带权累加求和;其中是权值,是参数前项分布算法我感觉这个就是一个贪心求解的过程,只不过求解的值的和变成了损失函数的值;算法思路就是从前往后异步只学习一个奇函数及其系数,每次取最小值,逐步逼近优化目标函数;负梯度拟合向负梯度方向拟合,在GBD...
2019-04-07 20:10:52
320
原创 集成学习与随机森林
集成学习创建日期 星期二 18 十二月 2018首先有个概念,个体学习器,一般是弱学习器,当然强学习器也是可以的;集成学习就是把个体学习器做一次集成,然后对结果进行一次决策,就叫集成学习,举个简单的例子就是,100个人中来吃一包口味一样的糖,然后其中有98个人说是甜的,做个投票,然后就说这包糖是甜的;然后个体学习器中分为强关联的学习器和弱关联学习器,两个不一样,强关联也叫强依赖,意思是...
2019-04-04 20:42:15
442
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人