- 博客(6)
- 收藏
- 关注
原创 AdaBoost&GBDT(三)
GBDTGBDT是Gradient Boosting Decision Tree的简称,其形式是决策树的加法模型。fM(x)=∑m=1MT(x;Θm)f_M(x) = \sum_{m=1}^MT(x;\Theta_m)fM(x)=m=1∑MT(x;Θm)其中T(x;Θ)T(x;\Theta)T(x;Θ)代表树模型,普遍使用的是CART树。GBDT Regression求解这个加法模型的方法即是上一节所提到的前向分步算法,于是我们自然要明确每一轮的损失函数的形式。GBDT并不指定损失函数的
2020-07-16 00:17:47
138
原创 AdaBoost&GBDT(二)——vincen的学习笔记
回顾篇(一)中详细介绍了AdaBoost的算法步骤,主要结论就是下面的算法图所述,方便回顾摆在这里。上图中的Dm,iD_{m,i}Dm,i即是上节中的ωm,i\omega_{m,i}ωm,i,这点需要注意一下,下面关于AdaBoost性质的推导中,我将沿用Dm,iD_{m,i}Dm,i这个我认为较为直观的符号。训练误差上界AdaBoost的训练误差可以写为1N∑i=1NI{G(xi)≠yi}\frac{1}{N}\sum_{i=1}^{N}I\{G(x_i)\neq y_i\}N1∑i=1
2020-07-14 13:47:49
212
原创 AdaBoost&GBDT(一)——vincen的学习笔记
前言本想在暑期阶段通过博客的形式整理沉淀所学的一些统计方法,但受各门课程复习进程的压迫,使我不得不收一收自己的"野心"。但若不完成心中所想,定会心有不甘,于是采用分段发表的形式,好为自己带来一些动力。参考课本依旧是李航老师的小蓝书。Boosting方法,我会将AdaBoost与GBDT放在一起书写,XGBoost与LightGBM分为另一组。引入我们平时学习到的单个模型,例如决策树,神经网络等,往往不会达到我们预期的效果,通常的方法是从两个角度入手,一种是继续通过一些方法去提取特征以提高准确率,而
2020-07-07 12:23:57
269
原创 支持向量机回归——vincen的学习笔记
1 前言胡浩基老师的机器学习课程作业与SVMSVMSVM推导类似,下面推导需要承认一个结论:对于下述优化问题minωf(ω)\min_{\omega}f(\omega)ωminf(ω)s.ts.ts.t①gi(ω)⩽0(i=1,⋯ ,k)①g_i(\omega)\leqslant 0\quad (i = 1,\cdots,k)①gi(ω)⩽0(i=1,⋯,k)②hi(ω...
2020-02-28 21:51:40
912
原创 正定核—vincen的学习笔记
1 前言以前还在社团里的时候,讲过一句话:“核是 SVMSVMSVM 里最最最最牛 B 的地方”。其实当时我感觉它牛 B 是因为我看到这个东西的时候当时我的问题在于这些核函数是如何找到的?亦或者给定一个函数,有什么方法可以判定其是否可作为核函数?为什么高斯核函数将特征映射到了无穷维空间中?翻看《统计学习方法》一书,对其中较多的数学证明在此处写下自己的理解。下面所有一切均...
2020-02-24 13:08:58
839
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人