Tensorflow 利用最近邻算法实现Mnist的识别

本文部分内容来自: https://blog.csdn.net/qq_33626280/article/details/88107220

参数解释：其中I1和I2是p维向量，例如I1=[0， 1]，I2=[1， 0]。则p=2,d1(I1,I2) = 2, d2(I1, I2) = √2.
解释一下为什么L1距离图像为什么为正方形，而L2距离图像为圆。
我们以二维空间为例：对于L1，他计算的是第一维差的绝对值加上第二维差的绝对值，可以想象成直角三角形的两条直角边的长度和。对于L2，他计算的是第一维差的平方加上第二维差的平方再求和，然和开根。由勾股，可以想象成直角三角形的斜边长。
当距离一定时，若以I1为原点，则I2所有可能的点即为上述图像。

##########################################################################

上面是最近邻算法的核心距离度量方式，那么距离落实到利用(Nearest Neighbor algorithm)来估计Mnist需要注意什么问题？

假如我们利用L1度量距离，那么这个距离到底是什么？ 很自然想到，这个距离是当前的样本集与测试集的每个样本的距离。

具体来说，上述已经说明了，每一个I都是一个p维向量，那么在Mnist中，每张图片的都是一个784维度的向量。那么每次我们都将要每个样本（测试集）与当前所有样本计算距离，寻找到最小距离，距离越小，代表两个样本图片越相似。这样就完成了这样的一个识别问题。

import tensorflow as tf
import numpy as np
from tensorflow.examples.tutorials.mnist import input_data

mnist=input_data.read_data_sets("/tmp/data/",one_hot=True)

tf.reset_default_graph()
#选择一部分样本进行训练与测试
Xtr, Ytr=mnist.train.next_batch(5000)
Xte, Yte=mnist.test.next_batch(200) 

#tf Graph Input
xtr=tf.placeholder(tf.float32, [None, 784])
xte=tf.placeholder(tf.float32,[784])

#Nearest Neighbor calculation using L1 Distance
distance=tf.reduce_sum(tf.abs(tf.add(xtr, tf.negative(xte))),reduction_indices=1)

# Prediction: get min distance index (Nearest neighbour)

pred=tf.argmin(distance,0)

accuracy=0

# Start training
with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())

    # loop over test data
    for i in range(len(Xte)):
        # Get nearest neighbor
        nn_index = sess.run(pred, feed_dict={xtr: Xtr, xte: Xte[i, :]})
        # Get nearest neighbor class label and compare it to its true label
        print ("Test", i, "Prediction:", np.argmax(Ytr[nn_index]), \
            "True Class:", np.argmax(Yte[i]))
        # Calculate accuracy
        if np.argmax(Ytr[nn_index]) == np.argmax(Yte[i]):
            accuracy += 1./len(Xte)
    print ("Done!")
    print ("Accuracy:", accuracy)