KNN（最邻近规则分类）+决策树 （入门）

一、最临近规则分类（KNN）

KNN：通过计算分类数据点，与已有数据集中的所有数据点的距离。取距离最小的前K个点，根据“少数如从多数”的原则，将这个数据点划分为出现次数最多的哪个类别。

如图：

上代码：（一个超级简单的例子）

from sklearn.neighbors import KNeighborsClassifier
#创建数据集x 和标签y
x = [[0],[1],[2],[3]]
y = [0,0,1,1]
#设置 K
neigh = KNeighborsClassifier(n_neighbors=3)
#训练
neigh.fit(x,y)
#调用predict()函数，对未知样本进行分类，标签作为输出
print(neigh.predict([[1.1]]))

运行截图如下：

参考视频：（中国大学MOOC）https://www.icourse163.org/learn/BIT-1001872001#/learn/content?type=detail&id=1002862574&cid=1003256737

二、决策树算法

使用伪代码来表示一下就是：

if()
{
	if()
	{
		if()
		{
		
		}
	}
}

意思就是通过多种条件判断达到分类的目的

criterion：用于属性的准则，可以使用“gini”代表基尼系数，或者“entropy”代表信息增益。

参考视频：（中国大学MOOC）https://www.icourse163.org/learn/BIT-1001872001#/learn/content?type=detail&id=1002862574&cid=1003256737