- 博客(6)
- 收藏
- 关注
RSS订阅
1原创 AdaBoost&GBDT（三）
GBDT GBDT是Gradient Boosting Decision Tree的简称，其形式是决策树的加法模型。 fM(x)=∑m=1MT(x;Θm) f_M(x) = \sum_{m=1}^MT(x;\Theta_m) fM(x)=m=1∑MT(x;Θm) 其中T(x;Θ)T(x;\Theta)T(x;Θ)代表树模型，普遍使用的是CART树。 GBDT Regression 求解这个加法模型的方法即是上一节所提到的前向分步算法，于是我们自然要明确每一轮的损失函数的形式。GBDT并不指定损失函数的
2020-07-16 00:17:47
128
原创 AdaBoost&GBDT（二）——vincen的学习笔记
回顾 篇(一)中详细介绍了AdaBoost的算法步骤，主要结论就是下面的算法图所述，方便回顾摆在这里。 上图中的Dm,iD_{m,i}Dm,i即是上节中的ωm,i\omega_{m,i}ωm,i，这点需要注意一下，下面关于AdaBoost性质的推导中，我将沿用Dm,iD_{m,i}Dm,i这个我认为较为直观的符号。 训练误差上界 AdaBoost的训练误差可以写为1N∑i=1NI{G(xi)≠yi}\frac{1}{N}\sum_{i=1}^{N}I\{G(x_i)\neq y_i\}N1∑i=1
2020-07-14 13:47:49
196
原创 AdaBoost&GBDT（一）——vincen的学习笔记
前言 本想在暑期阶段通过博客的形式整理沉淀所学的一些统计方法，但受各门课程复习进程的压迫，使我不得不收一收自己的"野心"。但若不完成心中所想，定会心有不甘，于是采用分段发表的形式，好为自己带来一些动力。 参考课本依旧是李航老师的小蓝书。 Boosting方法，我会将AdaBoost与GBDT放在一起书写，XGBoost与LightGBM分为另一组。 引入 我们平时学习到的单个模型，例如决策树，神经网络等，往往不会达到我们预期的效果，通常的方法是从两个角度入手，一种是继续通过一些方法去提取特征以提高准确率，而
2020-07-07 12:23:57
255
原创 支持向量机回归——vincen的学习笔记
1 前言 胡浩基老师的机器学习课程作业 与SVMSVMSVM推导类似，下面推导需要承认一个结论： 对于下述优化问题 minωf(ω) \min_{\omega}f(\omega) ωminf(ω) s.ts.ts.t ①gi(ω)⩽0(i=1,⋯ ,k) ①g_i(\omega)\leqslant 0\quad (i = 1,\cdots,k) ①gi(ω)⩽0(i=1,⋯,k) ②hi(ω...
2020-02-28 21:51:40
883
原创 正定核—vincen的学习笔记
1 前言 以前还在社团里的时候，讲过一句话:“核是 SVMSVMSVM 里最最最最牛 B 的地方”。 其实当时我感觉它牛 B 是因为我看到这个东西的时候 当时我的问题在于 这些核函数是如何找到的？亦或者给定一个函数，有什么方法可以判定其是否可作为核函数？ 为什么高斯核函数将特征映射到了无穷维空间中？ 翻看《统计学习方法》一书，对其中较多的数学证明在此处写下自己的理解。 下面所有一切均...
2020-02-24 13:08:58
758
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人