[cs231n]KNN与SVM区别

部分资料来源于网络，仅做个人学习之用

KNN	SVM
没有训练过程，只是将训练数据与训练数据进行距离度量来实现分类。基本原理就是找到训练数据集里面离需要预测的样本点距离最近的k个值（距离可以使用比如欧式距离，k的值需要自己调参），然后把这k个点的label做个投票，选出一个label做为预测	是先在训练集上训练一个模型，然后用这个模型直接对测试集进行分类。这两个步骤是独立的。 需要超平面wx+b来分割数据集（此处以线性可分为例），因此会有一个模型训练过程来找到w和b的值。训练完成之后就可以拿去预测了，根据函数y=wx+b的值来确定样本点x的label，不需要再考虑训练集
knn没有训练过程，但是预测过程需要挨个计算每个训练样本和测试样本的距离，当训练集和测试集很大时，预测效率低。	svm有一个训练过程，训练完直接得到超平面函数，根据超平面函数直接判定预测点的label，预测效率很高
物以类聚，人以群分。如果你的朋友里大部分是北京人，就预测你也是北京人。如果你的朋友里大部分是河北人，那就预测你是河北人。不管你住哪里。