本文部分内容来自: https://blog.csdn.net/qq_33626280/article/details/88107220
参数解释:其中I1和I2是p维向量,例如I1=[0, 1],I2=[1, 0]。则p=2,d1(I1,I2) = 2, d2(I1, I2) = √2.
解释一下为什么L1距离图像为什么为正方形,而L2距离图像为圆。
我们以二维空间为例:对于L1,他计算的是第一维差的绝对值加上第二维差的绝对值,可以想象成直角三角形的两条直角边的长度和。对于L2,他计算的是第一维差的平方加上第二维差的平方再求和,然和开根。由勾股,可以想象成直角三角形的斜边长。
当距离一定时,若以I1为原点,则I2所有可能的点即为上述图像。
##########################################################################
上面是最近邻算法的核心距离度量方式,那么距离落实到利用(Nearest Neighbor algorithm)来估计Mnist需要注意什么问题?
假如我们利用L1度量距离,那么这个距离到底是什么? 很自然想到,这个距离是当前的样本集与测试集的每个样本的距离。
具体来说,上述已经说明了,每一个I都是一个p维向量,那么在Mnist中,每张图片的都是一个784维度的向量。那么每次我们都将要每个样本(测试集)与当前所有样本计算距离,寻找到最小距离,距离越小,代表两个样本图片越相似。这样就完成了这样的一个识别问题。
import tensorflow as tf
import numpy as np
from tensorflow.examples.tutorials.mnist import input_data
mnist=input_data.read_data_sets("/tmp/data/",one_hot=True)
tf.reset_default_graph()
#选择一部分样本进行训练与测试
Xtr, Ytr=mnist.train.next_batch(5000)
Xte, Yte=mnist.test.next_batch(200)
#tf Graph Input
xtr=tf.placeholder(tf.float32, [None, 784])
xte=tf.placeholder(tf.float32,[784])
#Nearest Neighbor calculation using L1 Distance
distance=tf.reduce_sum(tf.abs(tf.add(xtr, tf.negative(xte))),reduction_indices=1)
# Prediction: get min distance index (Nearest neighbour)
pred=tf.argmin(distance,0)
accuracy=0
# Start training
with tf.Session() as sess:
sess.run(tf.global_variables_initializer())
# loop over test data
for i in range(len(Xte)):
# Get nearest neighbor
nn_index = sess.run(pred, feed_dict={xtr: Xtr, xte: Xte[i, :]})
# Get nearest neighbor class label and compare it to its true label
print ("Test", i, "Prediction:", np.argmax(Ytr[nn_index]), \
"True Class:", np.argmax(Yte[i]))
# Calculate accuracy
if np.argmax(Ytr[nn_index]) == np.argmax(Yte[i]):
accuracy += 1./len(Xte)
print ("Done!")
print ("Accuracy:", accuracy)