- 博客(4)
- 收藏
- 关注
RSS订阅原创 Bagging算法原理
Bagging是并行式集成学习方法的典型代表，它直接基于自助采样法。给定包含m个样本的数据集，我们先随机取出一个样本放入采样中，再把该样本放回初始数据集，使得下次采样时该样本仍有可能被选中。这样，经过m次随机采样操作，我们得到含m个样本的采样集，初始训练集中有的样本在采样集里多次出现，有的则从未出现。初始训练集中约有63.2%的样本出现在采样集中。 照这样，我们可采样出T个含m个训练样本...
2019-03-14 11:36:56
9100
1
原创 AdaBoost算法原理
AdaBoost AdaBoost是将弱学习器提升为强学习器的算法，首先从初始训练集训练一个基学习器，再根据基学习器的表现对样本分布进行调整，基于调整后的样本分布训练下一个学习器，下一个基学习器会更多的关注先前学习器做错的样本。如此重复进行，直至基学习器数目达到事先指定的值T，最终将这T个基学习器进行加权结合。 AdaBoost算法模型之加性模型 通过最小化指数损失函数来进行模型求解 ...
2019-03-14 11:00:36
232
原创 交叉熵和对数损失函数之间的关系
目录 交叉熵 熵/信息熵 相对熵/KL散度 交叉熵 对数损失函数 交叉熵和对数损失函数之间的关系 交叉熵 熵/信息熵 假设一个发送者想传输一个随机变量的值给接收者。这个过程中，他们传输的平均信息量为： 叫随机变量的熵，其中 把熵扩展到连续变量的概率分布,则熵变为 被称为微分熵。 在离散分布下，最大熵对应于变量的所有可能状态的均匀分布。 最大化微分熵的分布是...
2019-03-09 22:06:08
8850
原创 机器学习逻辑回归LR原理
逻辑回归也叫对率回归，名为回归，实际上是一种分类模型。这种方法有很多有点，例如，它是直接对分类可能性建模，无需事先假设数据分布，这样就避免了假设分布不准确所带来的问题；它不是仅预测出类别，而是可得到近似概率分布，这对许多需要利用概率辅助决策的任务很有用；此外，对率函数是任意阶可导的凸函数，有很好的数学性质，现有的许多数值优化算法都可直接用于求解最优解。 课前准备知识 其针对输入样本集，假设输出...
2019-03-09 14:53:00
1265
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人