machine learning
机器学习笔记
条件反射104
中国科学院大学自动化研究所
展开
-
集成学习(Ensemble Learning)(Boosting、Bagging和结合策略)
文章目录集成学习(Ensemble Learning)1.Boosting2.Bagging3.结合策略3.1Averaging3.2Voting3.3stacking集成学习(Ensemble Learning)在传统机器学习算法当中,单个的学习器可能并不能达到非常好的效果,但如果结合多个弱学习器的结果,模型的表现可能会有一定程度的提升。因此集成学习所做的就是将一系列具有差异的个体学习器,通过某种策略结合起来,从而达到更好的学习效果。下面介绍常见的集成学习方法。1.BoostingBoostin原创 2020-06-02 21:42:55 · 2283 阅读 · 11 评论 -
决策树:CART决策树剪枝算法(超详细)
文章目录CART算法1. CART生成算法①. CART回归树的生成②. CART分类树的生成2. CART剪枝算法CART算法CART假设决策树是二叉树,内部结点特征的取值为“是”和“否”。左分支“是”,右分支“否”。与ID3和C4.5只有决策树的生成不同的是,CART算法由以下两步组成:(1)决策树生成:基于训练数据集生成一棵尽量大的决策树。(2)决策树剪枝:用验证数据集对已生成的树...原创 2020-04-06 11:45:53 · 8752 阅读 · 7 评论 -
决策树:ID3、C4.5、CART决策树生成算法
示例训练数据以如下数据集为例分别介绍决策树ID3、C4.5、CART的生成算法:ID3生成算法例题:利用训练数据集,用ID3算法建立决策树。ID3算法只有树的生成,所以该算法生成的树容易产生过拟合。C4.5生成算法C4.5与ID3类似,但有一点不同,C4.5在生成的过程中使用了信息增益比来选择特征。CART生成算法CART假设决策树是二叉树,内部结点特征的取值为“是”和“...原创 2020-04-05 09:47:31 · 2462 阅读 · 1 评论 -
决策树:信息增益、增益率、基尼指数、剪枝处理、缺失值处理、多变量决策树
一、基本流程一般来说,一棵决策树包含一个根结点、若干个内部节点和若干个叶结点。叶结点对应于决策结果,其他每个结点对应于一个属性测试。每个结点包含的样本根据属性测试的结果被划分到子节点当中。根节点包含样本全集。决策树学习的目的是为了产生一棵泛化能力强,即处理未见示例能力强的决策树。其伪代码如下:决策树是一个递归的过程。在决策树基本算法当中,有三种情形会导致递归返回:当前结点包含...原创 2020-04-02 11:54:51 · 1703 阅读 · 0 评论