- 博客(3)
- 收藏
- 关注
RSS订阅转载 GBDT与RF的区别
首先，GBDT和RF都是集成方法中的经典模型，我们需要弄清楚下面几个问题： 1、GBDT是采用boosing方法，RF采用的是baggging方法 2、bias和variance是解释模型泛化性能的，其实还有噪声然后，理解GBDT和RF执行原理，其中GBDT中的核心是通过用分类器（如CART、RF）拟合损失函数梯度，而损失函数的定义就决定了在子区域内各个步长，其中就是期望输出与分类器预...
2018-08-22 09:40:30
808
转载 GBDT
GBDT训练过程 我们通过一张图片，图片来源来说明gbdt的训练过程: gbdt通过多轮迭代,每轮迭代产生一个弱分类器，每个分类器在上一轮分类器的残差基础上进行训练。对弱分类器的要求一般是足够简单，并且是低方差和高偏差的。因为训练的过程是通过降低偏差来不断提高最终分类器的精度，（此处是可以证明的）。 弱分类器一般会选择为CART TREE（也就是分类回归树）。由于上述高偏差和...
2018-08-15 16:25:32
989
转载 BN 层原理解析
1 训练数据为什么要和测试数据同分布？看看下图，如果我们的网络在左上角的数据训练的，已经找到了两者的分隔面w，如果测试数据是右下角这样子，跟训练数据完全不在同一个分布上面，你觉得泛化能力能好吗？ 2 为什么白化训练数据能够加速训练进程如下图，训练数据如果分布在右上角，我们在初始化网络参数w和b的时候，可能得到的分界面是左下角那些线，需要经过训练不断调整才能得到穿过数据点的分界面，这个...
2018-08-11 10:40:24
19293
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人