Pytorch和Tensorflow在相同数据规模规模下的KNN(K-NearestNeighbor)算法中的运算速度对比
今天介绍一下比较简单的机器学习算法KNN算法。它最初由 Cover和Hart于1968年提出,是一个理论上比较成熟的方法,也是最简单的机器学习算法之一。
KNN算法基本原理
该方法的思路非常简单直观:离已知的某一个类中的所有点的平均距离距离最小的,就将这个点归为该类。
该方法的不足之处是计算量较大,因为对每一个待分类的文本都要计算它到全体已知样本的距离,会占用很大的时间与内存。
KNN分类算法包括以下4个步骤:
①准备数据,对数据进行预处理
②计算测试样本点(也就是待分类点)到其他每个样本点的距离
③对每个距离进行排序,然后选择出距离最小的点
④将测试点归类到这个最小距离的类中。
本文中用的是L2距离实现:
L 2 = ( x 2 − x 1 ) 2 + ( y 2 − y 1 ) 2 L2=\sqrt{(x_2-x1)^2+(y_2-y_1)^2} L2=(x2−x1)2+(y2−y