NN和KNN的简单概念

 

1.NN，最近邻分类器。把图片做成像素矩阵，计算它和训练集中的图片距离，根据差值来判断数据哪个类。

计算距离差值的方法最简单的是曼哈顿距离，即计算所有像素点的差值。

其中，I1和I2可以看作两张图片，P是矩阵的坐标

2.KNN，K-近邻。在NN的基础上找到最近的K个邻居，然后看这几个邻居哪一个类的数目最多，就属于哪个类。

1）引出来训练集(train set)，验证集(validation set)，测试集(test set)这三个名词

　　训练集：学习样本数据集，通过匹配一些参数来建立一个分类器。

　　验证集：对学习出来的模型，调整分类器的参数，如在神经网络中选择隐藏单元数。用来避免过拟合。

　    测试集：测试训练好的模型的分辨能力。

      划分的用意在于了防止过度拟合，也就是不要太精确。如果所有的数据都参与训练，出来的结果对这些数据肯定最合适，但对于其它数据就不一定了。

       一般把数据集的75%作为训练集，把数据集的25%作为测试集。其中训练集利用K折交叉验证法，将样本打乱，然后均匀分成K份，轮流选择其中K－1份训练，剩余的一份做验证，计算预测误差平方和，最后把K次的预测误差平方和再做平均作为选择最优模型结构的依据。