- 博客(6)
- 收藏
- 关注
RSS订阅原创 机器学习算法三：bagging及随机森林算法
在学习随机森林算法之前，首先需要对一些基础知识有一些了解。1 信息、熵，信息增益及决策树在学习任何跟决策树有关的算法时，都会接触到题目中的这几个概念，理解这几个概念有助于以后的学习，废话不多说。1.1 信息信息这个概念真的极其的抽象，看了很多博主的文章感觉还是理解不了，再看看香农的话，信息是用来消除随机不确定性的东西，更让人不知所云。 要理解信息的概念，就必须了解信息含量...
2018-06-12 10:36:52
2152
原创 机器学习算法二：详解Boosting系列算法三XGboost及总结
XGboostXGboost 是eXtreme Gradient Boosting ，他是在GBM基础上的改进，内部同样采用决策树作为基学习器，XGboost（下文称为XGB）与GBM的区别在于损失函数更新的方式，GBM利用的是梯度下降法的近似方法，而XGB方法则引入了牛顿法进行损失函数的寻优，因为牛顿法使用到了二阶导，这就是为什XGB要叫做极端梯度法。 接下来讲解XGB方法前先介绍一些基...
2018-06-08 10:38:20
7687
1
原创 机器学习算法二：详解Boosting系列算法二GBM
1 GBM GBM 全称gradient boosting machine，一般叫做梯度提升树算法。是一类很常用的集成学习算法，在多次数据挖掘比赛中获得了优秀的成绩。 在解释GBM时，有很多内容需要提前一并解释了才有助于理解GBM算法。建议阅读此篇内容以前先了解一个Adaboost算法，接下来此文还会给出boosting加法模型以及boosted tree（提升树）的解释，最后再讲解GBM算法...
2018-06-04 15:35:05
29230
3
原创 机器学习算法二：详解Boosting系列算法一Adaboost
boosting算法是一类将弱学习器提升为强学习器的集成学习算法。 本文主要介绍boosting算法得基本原理，以及典型的三种算法：adaboost，GBM（Gradient bossting machine），XGBoost。1.boosting方法原理...
2018-06-01 09:46:22
13324
1
原创 什么是集成学习？
在监督学习算法中，我们希望训练得到的模型是一个各方面都稳定表现良好的模型，但是实际情况中却往往得到的是在某方面有偏好的模型。集成学习则可以通过多个学习器相结合，来获得比单一学习器更优越的泛化性能。 集成学习是指通过构建并结合多个学习器来完成学习任务的分类系统，根据个体学习器是否为同一类可以分为同质集成和异质集成。集成学习获得较好泛化性能的原理 一般集成学习会通过重采样获得一定数量的样本，...
2018-05-30 20:40:55
8654
原创 机器学习算法一：浅析贝叶斯分类器与朴素贝叶斯
1.贝叶斯公式 贝叶斯分类器是在概率论框架下的一种基本分类方法，对于分类任务来说就是在所有相关概率都已知的情况下（先验概率和条件概率），得到最优的类别标记。首先来看经典的贝叶斯公式:p(c|x)=p(x|c)p(c)p(x)p(c|x)=p(x|c)p(c)p(x)p(\left. c \right|x) = \frac{{p(\left. x \right|c)p(c)}}{{p(x)}}...
2018-05-30 11:20:55
729
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人