tripleHu的博客

由于原生安装的python没有带有这几个库，故需要用户自己下载安装其中需要先安装了numpy才能安装后面两个库本文以windows10下python2.7安装这些库为例numpy1、numpy下载地址：http://www.lfd.uci.edu/~gohlke/pythonlibs/#numpy2、下载完成后将numpy-1.11.3+mkl-cp27-cp27m-win

K近邻算法用官方的话来说，所谓K近邻算法，即是给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例（也就是上面所说的K个邻居）， 这K个实例的多数属于某个类，就把该输入实例分类到这个类中。下面通过一个简单的例子说明一下：如下图，绿色圆要被决定赋予哪个类，是红色三角形还是蓝色四方形？如果K=3，由于红色三角形所占比例为2/3，绿色圆将被赋予红色三角形那个类，如果K=5，

决策树（Decision Tree）是一种简单但是广泛使用的分类器。通过训练数据构建决策树，可以高效的对未知的数据进行分类。决策数有两大优点：1）决策树模型可以读性好，具有描述性，有助于人工分析；2）效率高，决策树只需要一次构建，反复使用，每一次预测的最大计算次数不超过决策树的深度。 训练数据如下表： 根据训练数据集的数据，构造决策树 比如新发现一种动物，通过决策树就可以判断它是否是鱼

在上一篇笔记中学习了使用信息熵选择最好的划分方式，本篇就要开始构建决策树了。 本文在上一篇的代码的基础扩展，先贴上代码# coding:utf-8 from math import logimport operator##创建训练数据集def createDataSet(): dataSet = [[1, 1, 'yes'], [1, 1, 'yes'