机器学习
文章平均质量分 84
zp1008611
这个作者很懒,什么都没留下…
展开
-
集成学习算法梯度提升(gradient boosting)的直观看法
梯度提升算法的核心思想:使用前一个模型的残差作为下一个模型的目标。总而言之,梯度提升从一个用于预测的弱模型开始。这种模型的目标是问题的期望输出。在训练这样的模型之后,计算它的残差。如果残差不为零,则创建另一个弱模型来修复前一个模型的弱点。但是这种新模型的目标不是期望的输出,而是先前模型的残差。也就是说,如果给定样本的期望输出是 T,那么第一个模型的目标就是 T。第一个模型训练之后,会产生残差集R。要创建的新模型的目标将设置为R,而不是T。这是因为新模型填补了以前模型的空白。原创 2023-04-07 21:25:22 · 636 阅读 · 3 评论 -
线性可分:感知机
感知机思想:错误驱动模型:f(x)=sign(WTx)f(x)=sign(W^Tx)f(x)=sign(WTx),x∈Rpx\in \R^px∈Rp,W∈RpW\in \R^pW∈Rpsign(a)={+1,a≥0−1,a<0sign(a)=\left\{\begin{matrix}+1,a\geq0 \\ -1,a<0\end{matrix}\right.sign(a)={+1,a≥0−1,a<0前提:数据是线性可分的样本集:{xi,yi}i=1N\{x_i,y_i\}原创 2021-10-10 20:20:14 · 135 阅读 · 0 评论