机器学习之KNN（k近邻）算法详解

文章目录
1-1 机器学习算法分类
一、基本分类：
①监督学习（Supervised learning）
②无监督学习
③半监督学习
④强化学习
小结：
2-1 KNN基本流程
一、概念：
2-2 K值的选择
2-3 kd树
一、原理：
二、构造方法：
1-1 机器学习算法分类
一、基本分类：
①监督学习（Supervised learning）
数据集中的每个样本有相应的“正确答案”， 根据这些样本做出
预测， 分有两类： 回归问题和分类问题。

步骤1： 数据集的创建和分类
步骤2： 训练
步骤3： 验证
步骤4： 使用

（ 1） 回归问题举例
例如： 预测房价， 根据样本集拟合出一条连续曲线。
（ 2） 分类问题举例
例如： 根据肿瘤特征判断良性还是恶性，得到的是结果是“良性”或者“恶性”， 是离散的。

监督学习：从给定的训练数据集中学习出一个函数（模型参数）， 当新的数据到来时，可以根据这个函数预测结果。监督学习的训练集要求包括输入输出，也可以说是特征和目标。训练集中的目标是由人标注的。
PCA和很多deep learning算法都属于无监督学习

②无监督学习
无监督学习：输入数据没有被标记，也没有确定的结果。样本数据类别未知， 需要根据样本间的相似性对样本集进行分类（聚类， clustering）试图使类内差距最小化，类间差距最大化。
实际应用中， 不少情况下无法预先知道样本的标签，也就是说没有训练样本对应的类别，因而只能从原先没有样本标签的样本集开始学习分器设计

有监督学习    无监督学习
样本    必须要有训练集与测试样本。在训练集中找规律，而对测试样本使用这种规律。    没有训练集，只有一组数据，在该组数据集内寻找规律。
目标    方法是识别事物，识别的结果表现在给待识别数据加上了标签。 因此训练样本集必须由带标签的样本组成。    方法只有要分析的数据集的本身，预先没有什么标签。如果发现数据集呈现某种聚集性， 则可按自然的聚集性分类，但不予以某种预先分类标签对上号为目的。

 

③半监督学习
半监督学习： 即训练集同时包含有标记样本数据和未标记样本数据。

④强化学习
实质是： make decisions问题，即自动进行决策，并且可以做连续决策。
主要包含四个元素： agent， 环境状态， 行动， 奖励；
强化学习的目标就是获得最多的累计奖励。

小结：
监督学习：
In：有标签
Out：有反馈
目的：预测结果
案例：学认字
算法：分类（类别），回归（数字）

无监督学习：
In：无标签
Out：无反馈
目的：发现潜在结构
案例：自动聚类
算法：聚类，降维

半监督学习:
已知：训练样本Data和待分类的类别
未知：训练样本有无标签均可
应用：训练数据量过时，
监督学习效果不能满足需求，因此用来增强效果。

强化学习：
In：决策流程及激励系统
Out：一系列行动
目的：长期利益最大化，回报函数（只会提示你是否在朝着目标方向前进的延迟反映）
案例：学下棋
算法：马尔科夫决策，动态规划

2-1 KNN基本流程
一、概念：
KNN（K Near Neighbor）：k个最近的邻居，即每个样本都可以用它最接近的k个邻居来代表。

最近邻 (k-Nearest Neighbors， KNN) 算法是一种分类算法， 1968年由 Cover和 Hart 提出， 应用场景有字符识别、 文本分类、 图像识别等领域。
该算法的思想是： 一个样本与数据集中的k个样本最相似， 如果这k个样本中的大多数属于某一个类别， 则该样本也属于这个类别。

###二、距离度量
在选择两个实例相似性时，一般使用的欧式距离
Lp距离定义：

https://blog.csdn.net/sinat_30353259/article/details/80901746