人工智能
夕阳-晨曦
这个作者很懒,什么都没留下…
展开
-
python实现决策树ID3算法
一、决策树概论 决策树是根据训练数据集,按属性跟类型,构建一棵树形结构。可以按照这棵树的结构,对测试数据进行分类。同时决策树也可以用来处理预测问题(回归)。二、决策树ID3的原理 有多种类型的决策树,本文介绍的是ID3算法。 首先按照“信息增益”找出最有判别力的属性,把这个属性作为根节点,属性的所有取值作为该根节点的分支,把样例分成多个子集,每个原创 2015-12-22 13:06:03 · 1957 阅读 · 0 评论 -
python实现决策树C4.5算法(在ID3基础上改进)
一、概率 C4.5主要是在ID3的基础上改进,ID3选择(属性)树节点是选择信息增益值最大的属性作为节点。而C4.5引入了新概念“信息增益率”,C4.5是选择信息增益率最大的属性作为树节点。 二、信息增益 以上公式是求信息增益率(ID3的知识点) 三、信息增益率 信息增益率是在求出信息增益值在除以。 例如下面公式为求属性为“outlook”的值: 四、C4.5的完整代码from原创 2015-12-24 17:22:40 · 18609 阅读 · 12 评论 -
Perceptron Learning Algorithm(python实现)
一、概论 对于给定的n维(两种类型)数据(训练集),找出一个n-1维的面,能够“尽可能”地按照数据类型分开。通过这个面,我们可以通过这个面对测试数据进行预测。 例如对于二维数据,要找一条直线,把这些数据按照不同类型分开。我们要通过PLA算法,找到这条直线,然后通过判断预测数据与这条直线的位置关系,划分测试数据类型。如下图: 二、PLA的原理 先初始化一条直线,然后通过多次迭代,修改这条直原创 2015-12-24 17:36:17 · 8802 阅读 · 7 评论