![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
决策树
Wind_know
这个作者很懒,什么都没留下…
展开
-
梯度提升树
目录导包梯度提升树也是建在决策树的基础上的。树分10份,每份中是3棵树,每棵树都是多分类问题梯度提升树原理导包导入数据声明树使用回归研究其原理第二棵决策树以下数据为残差第二颗树,根据梯度提升,减小残差(残差越小,结果越好,越准确)导包概念:导数求导后还是自身import numpy as np# f(x) = 3*x**2# 梯度=导数from sklearn.ensemble import GradientBoostingClassi.原创 2020-06-20 22:08:11 · 1440 阅读 · 0 评论 -
决策树使用与原理
导包import numpy as npfrom sklearn.tree import DecisionTreeClassifierfrom sklearn import datasetsimport matplotlib.pyplot as plt%matplotlib inlinefrom sklearn import treefrom sklearn.model_selection import train_test_split声明决策树clf = Decisi原创 2020-06-19 22:16:51 · 1066 阅读 · 0 评论 -
决策树中的熵原理
目录决策树ID3算法划分原则:熵:判断账号是否真实决策树决策树分类的思想类似于找对象。现想象一个女孩的母亲要给这个女孩介绍男朋友,于是有了下面的对话:决策树用的是信息论的知识,构建树其实就是给树进行排序,将无序的数据结构化。ID3算法划分原则:将无序的数据变得更加有序。熵:用熵来度量数据有序还是无序。熵这个概念最早起源于物理学,在物理学中是用来度量一个热力学系统的无序程度。而在信息学里面,熵是对不确定性的度量。在1948年,香农引入了信息...原创 2020-06-18 22:21:57 · 1119 阅读 · 0 评论 -
决策树随机森林
目录决策树的过拟合剪枝算法Bootstraping应用一种可能的方案样本不均衡的常用处理方法使用RF建立计算样本间相似度Isolation Forest决策树分类鸢尾花数据随机森林决策树用于拟合多输出的决策树回归决策树的过拟合决策树对训练属于有很好的分类能力,但对 未知的测试数据未必有好的分类能力,泛化 能力弱,即可能发生过拟合现象。解决的方法:剪枝,随机森林。剪枝系数的确定剪枝算法BootstrapingBootst.原创 2020-06-10 20:00:43 · 328 阅读 · 0 评论 -
决策树
目录信息熵决策树建立条件熵推导条件熵的定义式相对熵互信息决策树的实例决策树示意图决策树学习的生成算法信息增益Gini系数信息熵 信息熵是一个数学上颇为抽象的概念,在这里不妨把信息熵理解成某种特定信息的出现概率(离散随机事件的出现概率)。一个系统越是有序,信息熵就越低;反之,一个系统越是混乱,信息熵就越高。信息熵也可以说是系统有序化程度的一个度量。决策树建立假设有n个样本,假设有一个根节点,将N个样本列在根节点当中,给出一种分割规则,分为左边和右边分原创 2020-06-09 22:08:12 · 343 阅读 · 0 评论 -
机器学习算法基础5--决策树与随机森林
目录决策树决策树的实际划分信息熵信息增益常见决策树使用的算法泰坦尼克号乘客生存分类模型泰坦尼克号数据步骤决策树的结构、本地保存随机森林集成学习方法学习算法集成学习API随机森林的优点决策树决策树:程序设计中的条件分支结构就是if-then结构,最早的决策树就是利用这类结构分割数据的一种分类学习方法。决策树的实际划分猜谁是冠军?假设有32支球队32支球队,log(2为底,对数为32)=5比特64支球队,log(2为底.原创 2020-05-30 22:10:30 · 783 阅读 · 0 评论