![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
开心的火龙果
这个作者很懒,什么都没留下…
展开
-
决策树
决策树知识总结: 决策树的根节点到叶节点的每一条路径构建一条规则,路径上内部节点的特征对应着规则的条件,叶节点的类对应着规则的结论。每一个示例都可以被一条路径或一条规则所覆盖。本质上来讲,决策树就是根据训练数据集得到的条件概率模型,这个条件概率分布是定义在对特征空间的一个划分上,特征空间被划分成为了互不相交的区域。 决策树是定义在特征空间与类空间上的条件概率分布,决策树实际上是将特征空间划分成...原创 2018-09-01 18:46:17 · 164 阅读 · 0 评论 -
逻辑回归
LR模型可以被认为就是一个被Sigmoid函数(logistic方程)所归一化后的线性回归模型 LR模型常用于二分类问题,假设我们要根据已知特征和label的样本数据构建分类模型,假设我们想要建立一个线性模型,根据这个线性模型的结果进行类别划分,但是这个线性模型的值是位于实数轴上的,因此我们可以通过Sigmoid函数将线性模型的结果映射到[0,1]区间内,这样通过设定阈值,我们就可以根据阈值和映...原创 2018-09-06 00:32:28 · 201 阅读 · 0 评论 -
随机森林、bagging、boosting、adaboost、xgboost
AdaBoost原理 原始的AdaBoost算法是在算法开始的时候,为每一个样本赋上一个权重值,初始的时候,大家都是一样重要的。在每一步训练中得到的模型,会使得数据点的估计有对有错,我们就在每一步结束后,增加分错的点的权重,减少分对的点的权重,这样使得某些点如果老是被分错,那么就会被“重点关注”,也就被赋上一个很高的权重。然后等进行了N次迭代(由用户指定),将会得到N个简单的分类器(basic ...原创 2018-10-16 10:29:54 · 1724 阅读 · 0 评论