K最近邻分类算法原理及实例分析

目录

• 概述
• 原理
• 要点
• 实例

1、概述

K最近邻（k-Nearest Neighbor，KNN），指导思想是“近朱者赤，近墨者黑”，由你的邻居来推断出你的类别，KNN分类算法是最简单的机器学习算法。

2、原理

从训练集中找到和新数据最接近的k条记录，然后根据多数类来决定新数据类别，本质上，KNN是使用距离来计算相似度。

算法涉及3个主要因素：训练数据集；距离或相似度的计算衡量；k的大小。

已知两类“先验”数据，分别是蓝方块和红三角，他们分布在一个二维空间中；

有一个未知类别的数据（绿点），需要判断它是属于“蓝方块”还是“红三角”类；

考察离绿点最近的3个（或k个）数据点的类别，占多数的类别即为绿点判定类别。

3、要点

• 计算步骤

        算距离：给定测试对象，计算它与训练集中的每个对象的距离；