机器学习笔记：KNN

KNN

---

1 简介

  K最近邻(k-Nearest Neighbor，KNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。

---

2 原理及代码

2.1 关于机器学习

  首先，机器学习的英文名称叫Machine Learning，简称ML，该领域主要研究的是如何使计算机能够模拟人类的学习行为从而获得新的知识和技能，并且重新组织已学习到的知识和和技能，使之在应用中能够不断完善自身的缺陷与不足。
  简单来说，机器学习就是让计算机从大量的数据中学习到相关的规律和逻辑，然后利用学习来的规律来预测以后的未知事物。

2.2 机器学习之学习方法

  机器学习分为监督学习，无监督学习，半监督学习（强化学习）等。我们的《机器学习实战》中主要介绍监督学习和无监督学习两种。
  监督学习是指：从给定的训练数据集中学习出一个函数（模型参数），当新的数据到来时，可以根据这个函数预测结果。监督学习的训练集要求包括输入输出，也可以说是特征和目标。训练集中的目标是由人标注的。
  监督学习最常见的就是回归分析和统计分类，我们这次的KNN就是分类算法之一。

  无监督学习