机器学习十大算法之一：KNN

1-1 机器学习算法分类

一、基本分类：

①监督学习（Supervised learning）

数据集中的每个样本有相应的“正确答案”， 根据这些样本做出
预测， 分有两类： 回归问题和分类问题。

步骤1： 数据集的创建和分类
步骤2： 训练
步骤3： 验证
步骤4： 使用

（ 1） 回归问题举例
例如： 预测房价， 根据样本集拟合出一条连续曲线。
（ 2） 分类问题举例
例如： 根据肿瘤特征判断良性还是恶性，得到的是结果是“良性”或者“恶性”， 是离散的。

监督学习：从给定的训练数据集中学习出一个函数（模型参数）， 当新的数据到来时，可以根据这个函数预测结果。监督学习的训练集要求包括输入输出，也可以说是特征和目标。训练集中的目标是由人标注的。
PCA和很多deep learning算法都属于无监督学习

②无监督学习

无监督学习：输入数据没有被标记，也没有确定的结果。样本数据类别未知， 需要根据样本间的相似性对样本集进行分类（聚类， clustering）试图使类内差距最小化，类间差距最大化。
实际应用中， 不少情况下无法预先知道样本的标签，也就是说没有训练样本对应的类别，因而只能从原先没有样本标签的样本集开始学习分器设计

有监督学习	无监督学习
样本	必须要有训练集与测试样本。在训练集中找规律，而对测试样本使用这种规律。
目标	方法是识别事物，识别的结果表现在给待识别数据加上了标签。 因此训练样本集必须由带标签的样本组成。

③半监督学习

半监督学习： 即训练集同时包含有标记样本数据和未标记样本数据。

④强化学习

实质是： make decisions问题，即自动进行决策，并且可以做连续决策。
主要包含四个元素： agent， 环境状态， 行动， 奖励；
强化学习的目标就是获得最多的累计奖励。

小结：

监督学习：
In：有标签
Out：有反馈
目的：预测结果
案例：学认字
算法：分类（类别），回归（数字）

无监督学习：
In：无标签
Out：无反馈
目的：发现潜在结构
案例：自动聚类
算法：聚类&#