- 博客(4)
- 收藏
- 关注
原创 Bagging算法原理
Bagging是并行式集成学习方法的典型代表,它直接基于自助采样法。给定包含m个样本的数据集,我们先随机取出一个样本放入采样中,再把该样本放回初始数据集,使得下次采样时该样本仍有可能被选中。这样,经过m次随机采样操作,我们得到含m个样本的采样集,初始训练集中有的样本在采样集里多次出现,有的则从未出现。初始训练集中约有63.2%的样本出现在采样集中。 照这样,我们可采样出T个含m个训练样本...
2019-03-14 11:36:56 9171 1
原创 AdaBoost算法原理
AdaBoostAdaBoost是将弱学习器提升为强学习器的算法,首先从初始训练集训练一个基学习器,再根据基学习器的表现对样本分布进行调整,基于调整后的样本分布训练下一个学习器,下一个基学习器会更多的关注先前学习器做错的样本。如此重复进行,直至基学习器数目达到事先指定的值T,最终将这T个基学习器进行加权结合。AdaBoost算法模型之加性模型通过最小化指数损失函数来进行模型求解...
2019-03-14 11:00:36 265
原创 交叉熵和对数损失函数之间的关系
目录交叉熵熵/信息熵相对熵/KL散度交叉熵对数损失函数交叉熵和对数损失函数之间的关系交叉熵熵/信息熵假设一个发送者想传输一个随机变量的值给接收者。这个过程中,他们传输的平均信息量为:叫随机变量的熵,其中把熵扩展到连续变量的概率分布,则熵变为被称为微分熵。在离散分布下,最大熵对应于变量的所有可能状态的均匀分布。最大化微分熵的分布是...
2019-03-09 22:06:08 8974
原创 机器学习逻辑回归LR原理
逻辑回归也叫对率回归,名为回归,实际上是一种分类模型。这种方法有很多有点,例如,它是直接对分类可能性建模,无需事先假设数据分布,这样就避免了假设分布不准确所带来的问题;它不是仅预测出类别,而是可得到近似概率分布,这对许多需要利用概率辅助决策的任务很有用;此外,对率函数是任意阶可导的凸函数,有很好的数学性质,现有的许多数值优化算法都可直接用于求解最优解。课前准备知识其针对输入样本集,假设输出...
2019-03-09 14:53:00 1313 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人