- 博客(4)
- 收藏
- 关注
RSS订阅原创 分类：从生成模型到判别模型
在解决分类问题时，生成模型（generative model）和判别模型（discriminative model）是常用的两类模型。生成模型从数据中学习特征和标签的联合概率分布p(x,y)，而判别模型则学习条件概率分布p(y|x)。本文主要介绍两类模型中常见的几种算法以及它们的内在联系。
2017-05-25 19:24:45
4841
原创 从统计学的角度看线性回归
线性回归是机器学习中常用的一种监督学习方法。常被用于选择重要特征和构造基学习器。本文将用统计学中极大似然估计和贝叶斯统计的方法推导线性回归及正则化。
2017-05-22 19:10:45
1809
原创 集成学习：Boosting及Adaboost、Gradient boosting
集成学习源于弱可学习和强可学习的等价性证明。一个概念是弱可学习的是指存在多项式时间内的学习算法能够学习它，且学习的正确率略高于随机猜测；一个概念强可学习是指存在多项式时间内的学习算法能够学习它，且学习的正确率非常高。Schapire证明了弱可学习和强可学习是等价的，即一个概念是强可学习的充要条件是概念 弱可学习。那么一个很自然的问题就是，已知一组弱学习器，能否将它们转化为强学习器？
2017-04-25 09:35:07
1452
原创 经典决策树算法：ID3、C4.5和CART
ID3(Iterative Dichotomiser 3) 是一种基本的决策树算法。它可用于对只含离散属性的样本集的分类任务。ID3每次根据信息增益选择最佳划分属性，基于样本该属性值的不同，把样本划分到不同的子结点。任意两个叶结点包含的样本不重叠，所有叶结点包含的样本构成完整训练样本集。
2017-04-22 13:04:48
2593
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人