- 博客(3)
- 收藏
- 关注
转载 GBDT与RF的区别
首先,GBDT和RF都是集成方法中的经典模型,我们需要弄清楚下面几个问题: 1、GBDT是采用boosing方法,RF采用的是baggging方法 2、bias和variance是解释模型泛化性能的,其实还有噪声 然后,理解GBDT和RF执行原理,其中GBDT中的核心是通过用分类器(如CART、RF)拟合损失函数梯度,而损失函数的定义就决定了在子区域内各个步长,其中就是期望输出与分类器预...
2018-08-22 09:40:30 817
转载 GBDT
GBDT训练过程 我们通过一张图片,图片来源来说明gbdt的训练过程: gbdt通过多轮迭代,每轮迭代产生一个弱分类器,每个分类器在上一轮分类器的残差基础上进行训练。对弱分类器的要求一般是足够简单,并且是低方差和高偏差的。因为训练的过程是通过降低偏差来不断提高最终分类器的精度,(此处是可以证明的)。 弱分类器一般会选择为CART TREE(也就是分类回归树)。由于上述高偏差和...
2018-08-15 16:25:32 998
转载 BN 层原理解析
1 训练数据为什么要和测试数据同分布? 看看下图,如果我们的网络在左上角的数据训练的,已经找到了两者的分隔面w,如果测试数据是右下角这样子,跟训练数据完全不在同一个分布上面,你觉得泛化能力能好吗? 2 为什么白化训练数据能够加速训练进程 如下图,训练数据如果分布在右上角,我们在初始化网络参数w和b的时候,可能得到的分界面是左下角那些线,需要经过训练不断调整才能得到穿过数据点的分界面,这个...
2018-08-11 10:40:24 19313 3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人