自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(6)
  • 收藏
  • 关注

原创 统计学习、深度学习、强化学习Python复现

统计学习、深度学习、强化学习算法Python复现。

2023-05-30 16:15:35 86 1

原创 AdaBoost&GBDT(三)

GBDT GBDT是Gradient Boosting Decision Tree的简称,其形式是决策树的加法模型。 fM(x)=∑m=1MT(x;Θm) f_M(x) = \sum_{m=1}^MT(x;\Theta_m) fM​(x)=m=1∑M​T(x;Θm​) 其中T(x;Θ)T(x;\Theta)T(x;Θ)代表树模型,普遍使用的是CART树。 GBDT Regression 求解这个加法模型的方法即是上一节所提到的前向分步算法,于是我们自然要明确每一轮的损失函数的形式。GBDT并不指定损失函数的

2020-07-16 00:17:47 128

原创 AdaBoost&GBDT(二)——vincen的学习笔记

回顾 篇(一)中详细介绍了AdaBoost的算法步骤,主要结论就是下面的算法图所述,方便回顾摆在这里。 上图中的Dm,iD_{m,i}Dm,i​即是上节中的ωm,i\omega_{m,i}ωm,i​,这点需要注意一下,下面关于AdaBoost性质的推导中,我将沿用Dm,iD_{m,i}Dm,i​这个我认为较为直观的符号。 训练误差上界 AdaBoost的训练误差可以写为1N∑i=1NI{G(xi)≠yi}\frac{1}{N}\sum_{i=1}^{N}I\{G(x_i)\neq y_i\}N1​∑i=1

2020-07-14 13:47:49 196

原创 AdaBoost&GBDT(一)——vincen的学习笔记

前言 本想在暑期阶段通过博客的形式整理沉淀所学的一些统计方法,但受各门课程复习进程的压迫,使我不得不收一收自己的"野心"。但若不完成心中所想,定会心有不甘,于是采用分段发表的形式,好为自己带来一些动力。 参考课本依旧是李航老师的小蓝书。 Boosting方法,我会将AdaBoost与GBDT放在一起书写,XGBoost与LightGBM分为另一组。 引入 我们平时学习到的单个模型,例如决策树,神经网络等,往往不会达到我们预期的效果,通常的方法是从两个角度入手,一种是继续通过一些方法去提取特征以提高准确率,而

2020-07-07 12:23:57 255

原创 支持向量机回归——vincen的学习笔记

1 前言 胡浩基老师的机器学习课程作业 与SVMSVMSVM推导类似,下面推导需要承认一个结论: 对于下述优化问题 min⁡ωf(ω) \min_{\omega}f(\omega) ωmin​f(ω) s.ts.ts.t ①gi(ω)⩽0(i=1,⋯ ,k) ①g_i(\omega)\leqslant 0\quad (i = 1,\cdots,k) ①gi​(ω)⩽0(i=1,⋯,k) ②hi(ω...

2020-02-28 21:51:40 883

原创 正定核—vincen的学习笔记

1 前言 以前还在社团里的时候,讲过一句话:“核是 SVMSVMSVM 里最最最最牛 B 的地方”。 其实当时我感觉它牛 B 是因为我看到这个东西的时候 当时我的问题在于 这些核函数是如何找到的?亦或者给定一个函数,有什么方法可以判定其是否可作为核函数? 为什么高斯核函数将特征映射到了无穷维空间中? 翻看《统计学习方法》一书,对其中较多的数学证明在此处写下自己的理解。 下面所有一切均...

2020-02-24 13:08:58 758

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除