![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
《机器学习实战》学习笔记
记录学习《机器学习实战》这本书的一些总结和代码
fadtes
这个作者很懒,什么都没留下…
展开
-
决策树
1.算法原理 决策树是一棵树,它的每个节点都是一次决策,该节点的子树分别代表不同的决策,叶子节点表示所有数据已经属于同一类型,无法再分。 因此构造决策树只需要做一件事,找出划分当前数据集的最优特征,之后递归子树即可把决策树构造出来。 1.1 找出最优特征 那如何找出最优特征呢,可以从信息论的方向出发,在划分数据前后使用信息论量化度量信息的内容,选取信息增益最高的特征作为当前的选择。 熵定义为信息的期望值,因此需要找熵最大的划分。 这里采用ID3算法去计算熵 总结一下,我们需要对数据集的每个特征都尝试划分一原创 2020-10-22 00:24:45 · 289 阅读 · 0 评论 -
k-近邻算法
算法原理 将每个新数据与样本集中的每个特征进行比较,计算距离。把距离递增排序选取前k个距离最小的点,并统计前k个点的标签的出现频率,将出现频率最高的标签作为当前数据的预测分类。 此处使用欧氏距离公式: 代码: import numpy as np import operator import matplotlib import matplotlib.pylab as plt """ 函数说明: 创建数据集的例子 参数: 无 返回值: group:数据集 la原创 2020-10-20 22:52:16 · 85 阅读 · 0 评论