机器学习|TensorFlow实现KNN模型

Tensorflow实现K近邻分类器

1. K近邻分类模型基本原理

如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别，其中K通常是不大于20的整数。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。

2. K近邻分类模型的三个基本要素

（a） 距离度量 (b) K值的选择 （c）分类决策规则

2.1 距离度量

假定特征空间$X$是M维实向量空间：$X$ $ϵ$$R^M$，任意两个样本（$i,j$）的特征向量记为：$x_i=(x_{i,1},...x_{i,M})$${}^T$和$x_i=(x_{i,1},...x_{i,M})$ T ^{T}