lecture 10：Introduction to Learning，Nearest Neighbors

学习介绍，最近邻

一、学习介绍

首先将学习分为两类：
一类是基于观测和规律性的学习，计算机非常擅长这类，最近邻、神经网路（仿生）、boosting都属于这类，下面要讲的最近邻属于模式识别。
这类学习计算机处理信息的方式就像推土机推土。
一类是基于约束的学习，例如一次性学习（从某次经验学习到确切的知识）、基于解释的学习。
这类学习类似于人类的处理方式。

二、最近邻学习

下面考虑模式识别或基于最近邻学习，你会得到某种机制，生成一个关于特征的向量，称之为特征检测器，它会生成一组值的向量，向量进入某个比较器，比较器将特征向量和存放各种可能性库的特征向量匹配来确定这个对象是什么。如下图所示。

比如在二维里，我们可以将几种特征之间划分界限，看待识别的物体属于落到哪个区间里。
再比如有关信息检索的例子，如何找到与你感兴趣的问题最相关的杂志，做法是数出库内文章中词的出现次数，并同探索的问题中词的出现次数进行对比（这跟我毕设做的基于NLP分类的思路一样）。
在二维空间测量具体不是很好用，但是可以测量他们的角度（cos值），回头在我的代码里改改试试效果！！（如下图）

这种方式或许不是最精确的，但是实现简单，效果也不错。

想想几个问题：
1.测量了两个维度的数据，如果答案完全不依赖于y的值，那么y的值就是混淆用的。
2.什么起了作用？
3.如果答案完全不依赖于数据呢？那就不能用数据来得出答案