机器学习之Knn算法

一、机器学习Machine Learning(ML)

1.1 概念

人工智能Artificial Intelligence(AI)、机器学习Machine Learning(ML)和深度学习Deep Learning(DL)

（1）Artificial Intelligence：Artificial就意味着由人开发或本来不存在的东西构成。Intelligence意味着它有自主理解和思考的能力。一个系统能获取外部数据并从这些数据中学习，并能利用学习到的知识来灵活适应特定的目标和任务的能力。技术层主要分为三个领域：机器学习、语音识别和自然语言处理、以及计算机视觉

（2）Machine Learning：机器学习可以认为是一种数据驱动的决策方法，是人工智能的一种应用，为AI提供了一种自学习的能力。一般在机器学习任务中，我们都会定义具体的目标Goal和评估标准Metrics。机器学习可以不断地学习数据和计算评估标准并迭代来达到Goal。

（3）**Deep Learning：**深度学习是一种机器学习方法，隶属于机器学习中增强学习的范畴。

1.2 机器学习ML发展

推理期（20世纪50-70年代初）

• 认为只要给机器赋予逻辑推理能力，机器就具有智能
• A.Newell和H.Simon的“逻辑理论家”“通用问题求解”程序，获得1975年图灵奖

知识期（20世纪70年代中期）

• 认为要使机器具有智能，就必须设法使机器拥有知识
• E.A.Feigenbaum作为“知识工程”之父获得1994年图灵奖

学科形成（20世纪80年代）

• 机器学习成为一个独立学科领域并快速发展，各种机器学习技术百花齐放

繁荣期（20世纪80年代至今）

• 20世纪90年代后，统计学方法占主导，代表为SVM

• 数据即算法？——开启大数据时代

  • 在2001年发表的一篇著名论文中，微软研究员 Michele Banko 和 Eric Brill 表明，截然不同的机器学习算法，包括相当简单的算法，在自然语言歧义消除这个复杂问题上，表现几乎完全一致。 也就是说，只要给机器足够多的数据，无论什么样的算法，最后都是殊途同归

• 2006年至今，基于大数据分析的需求，神经网络又被重现，成为深度学习理论的基础

• 算法为王？——算法再次被人们重视

  • 2017年10月19日凌晨，在国际学术期刊《自然》（Nature）上发表的一篇研究论文中，谷歌下属公司Deepmind报告新版程序AlphaGo Zero：从空白状态学起，在无任何人类输入的条件下，它能够迅速自学围棋，并以100:0的战绩击败“前辈”。

1.2 机器学习ML的分类

机器学习可以在与数据交互层面、任务处理层面、学习模式层面等不同角度有很多分类，较常见的是与数据交互层面的分类。

（1）监督学习：特点就是喂给机器的数据都是有标记与答案的，机器根据这些标记或者说是特征feature进行分类处理，比如分类算法KNN

（2）非监督学习：无标记情况下，通过对特征提取、数据压缩或者PCA降维等方式进行的分类聚合，后期随着数据量增大逐渐呈现一定的分类特征，最终转为监督学习，比如用户画像

（3）增强学习：根据环境的反馈自我调整，自我学习，深度学习隶属于此范畴，比如阿尔法狗Zero

1.3 机器学习的整体流程

机器学习的宏观流程

二、数据集dataSet

2.1 概念

每个样本sample都是一个数据集dataset。样本的特征feature构成了特征矩阵，样本的类别（或者说是标签）Label构成了一维向量。

在机器学习中，操作最多的就是矩阵和向量，矩阵就是一个二维或者多维的数组，向量一般为一维的数组，用于表示每个样本的类别
$$feature矩阵=[\begin{array}{ccccccc}& & & & & & \\ 23& 12& 151& 954& 0.143& 0.278& 0.242\\ 9& 13& 133& 1326& 0.143& 0.079& \\ 21& 27& 130& 1203& 0.125& 0.16& \end{array}$$