最邻近方法nn_kNN最邻近规则分类

原理介绍：

这一个月来恶补了一下大学的数学知识，把高数、线代、概率论、复变函数和积分变换又温习了一遍，大学里学的差一点就忘光了。大学时每次上数学课可都是昏昏欲睡啊！哈哈！学习人工智能中关于分类的知识，碰到很多数学描述都看不太懂，才意识到自己的数学在不拾一拾就剩加减乘除了。

一个同事，也是搞C++ 的，对预测彩票非常感兴趣。我们认为这是个数学问题。做游戏开发，碰到数学问题还真不多，大部分都是逻辑问题，如A打伤了B，B打死了C诸如此类。然后提到如何实现通过程序为人们推荐手机，发现主要也是数学问题。总结来，在日常的软件开发中，主要涉及逻辑控制和数学建模两大部分，为了实现逻辑控制，我们精通编程语法，熟记API，优雅的涉及模块和类，高效的传输和存储数据。是的，这确实已经是很复杂的学问了。但对于我们来说，数学问题更让人着迷。

其实今天是要记录一下k-NN最近邻规则算法的。最近养成了一个习惯，将一个数学模型掌握以后，应用到一个例子中，并把它用Blog记录下来。K-NN是一种非常朴素的分类算法，但是在步入正题之前，还是要抛个转。

比如要实现一个模型为人人们推荐购买哪一款手机。为简化模型我们只基于协同过滤做推荐(洒家也是在推荐系统论坛长期潜水之人，常用的推荐策略还是略知一二的)。举个例子，已知A、B二人，A是月薪15k年龄28的帅哥，而B是月薪3K的年龄23的实习生，还知道A购买了Iphone， 而B购买了小米。如果C是月薪13K年龄27，那么你十分有可能和A进行相同的选择，也去购买Iphone。数学上认为C的函数值更解决于A。这就是