在我们了解了knn算法原理之后,我们来到了算法实现阶段。现在我们有5000张训练集照片(self.X_train,self.X_train.shape(num_train=5000,D),D为维度=3072)和500张测试集照片(X),他们都是由32*32个像素点以及3通道色彩构成的彩色图片,我们按照自己的理解完成算法.
三循环算法:
首先两个循环很好理解
for i in range(num_test):
for j in range(num_train):
这两个循环会帮助我们遍历所有测试集和训练集的映射组合,当在某个特定循环下时,我们需要完成的任务就是计算i0和j0的欧式距离。
图为欧式距离公式。
那么我们需要用训练集元素特征-测试集元素特征再平方,将这3072个平方值再相加并开方之后我们就得到了所有组合的对应距离。
我们的想法貌似没有问题,那么运行我们的算法,我们发现过了很长时间结果都没有出来。现在我们考虑循环次数是50005003072,并且我们的计算机在进行浮点运算时本来就没那么迅速,因此三循环算法基本可以抛弃。
二循环算法:
受到最近找到的一篇无循环算法的启发,我写了一下二循环算法,也能在较短时间内运行出结果。
首先我们要了解完全平方式。
我们假设我们要求的两组欧氏距离向量分别为N[n1,n2…nD],和M[m1,m2…mD],我们用NN.T(N的转置)即可得到x^2 MM.T即可得到y方,N*M.T即可得到xy,很容易就可以得出下列算法
for i in range(num_test):
for j in range(num_train):
x=X[i].reshape(1,-1)#这里一定要注意一维数组和只有一行的二维数组的区别
y=self.X_train[j].reshape(1,-1)
a=np.dot(x,x.T)+np.dot(y,y.T)-2*np.dot(x,y.T)
dists[i][j]=a**0.5
pass
无循环算法:
因为这个博主写的已经相当详细,所以我不再赘述,下面是链接。
https://blog.csdn.net/qq_27261889/article/details/84891734
当然我们也可以通过np.linalg.norm()这个函数来完成。