knn
缺点
- 分类器必须记住所有训练数据并将其存储起来,以便于未来测试数据用于比较。这在存储空间上是低效的,数据集的大小很容易就以GB计。
- 对一个测试图像进行分类需要和所有训练图像作比较,算法计算资源耗费高。
Q:KNN与NN
A:
-
KNN找出距离最近的k个样本,然后根据投票数最多的得到标签
-
更高的k值可以让分类的效果更平滑,使得分类器对于异常值更有抵抗力。
一层循环求L2距离
dists[i, :]=np.sqrt(np.sum(np.square(X[i,:] - self.X_train),axis=1))
#将每一行的求和结果赋值给dists[i,j]
直接求L2距离
dists += np.sum(self.X_train ** 2, axis=1)
dists += np.sum(X**2,axis=1).reshape(num_test,1)
dists -= 2 * X.dot(self.X_train.T)
dists = np.sqrt(dists)
np.bincount()
plt.scatter([k] * len(accuracies), accuracies)
#[k]* len(accuracies)同一个k有len(accuracies)个散点
plt.errorbar(k_choices, accuracies_mean, yerr=accuracies_std) #误差曲线
ValueError: object too deep for desired array
查了下应该就是np.bincount()参数要求1维的,然后改为以下解决:
y_pred[i] = np.argmax(np.bincount(closest_y.reshape(len(closest_y))))
But
交叉验证和用指定k值运算正确率分开运行都可以运行,但在先交叉验证找出最佳k之后再用最佳k进行预测计算就会报错,具体原因还没有想清楚