tensorflow练习(一)--knn

k近邻

学习实例：
https://github.com/aymericdamien/TensorFlow-Examples/blob/0.11/notebooks/2_BasicModels/nearest_neighbor.ipynb

k近邻算法是一种基本的分类和回归的方法。

基本概念：k近邻算法，即给定一个训练数据集，对于新的输入实力，在训练数据集中找到与该实例最近邻的k个实例，这k个实例的多数属于某个类，就把该输入实例分类到这个类中。这就类似于现实生活中少数服从多数的思想。当k=1时，即为最近邻

k值的选取

通常采用交叉验证的方法选取最优的k值

• 如果k值选取的过小，那么整体的模型会变得复杂，容易发生过拟合，对噪音太敏感。
• 如果k值选的太大，k=n（n为训练样本的个数），那么无论输入实例是什么，分类的结果就是训练集中类别最多的那个类别，这时就相当于没有训练模型，直接拿训练集做统计即可。

距离的度量

常用的有：欧式距离，曼哈顿距离（街区距离）等

特征归一化的必要性

由于特征的量纲不同，如果不归一化，那么量纲大的那一维特征的影响就会增大，会造成特征的重要性不是等价的，最终可能导致距离计算错误，导致预测错误

code

看了很多资料，发现大部分的实现都是最近邻，本文为knn的实现，可输入参数K

import sys
import numpy as np
from collections import Counter
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data

# import mnist data
mnist = input_data.read_data_sets("tmp/data/",one_hot=True)

# para : K

K = int(sys.argv[1])

# in this example , we limit mnist data
Xtrain, Ytrain = mnist.train.next_batch(5000)
Xtest, Ytest = mnist.test.next_batch(200)

print "Xtrain:",Xtrain.shape,Xtrain[:10]
print "Ytrain:",Ytrain.shape,Ytrain[:10]
print "Xtest:",Xtest.shape,Xtest[:10]
print "Ytest:",Ytest.shape,Ytest[:10]

xtrain = tf.placeholder("float",[None,784])
xtest = tf.placeholder("float",[784])

distance = tf.reduce_sum(tf.abs(tf.subtract(xtrain,xtest)),reduction_indices=1)
top_k_indices = tf.nn.top_k(tf.negative(distance),int(K)).indices
pred = tf.arg_min(distance,0)

accuracy = 0.

init = tf.initialize_all_variables()

with tf.Session() as sess:
    sess.run(init)
    for i in range(len(Xtest)):
        top_k = sess.run(top_k_indices,feed_dict={xtrain:Xtrain,xtest:Xtest[i,:]})
        pred_list = []
        for nn_index in top_k:
            pred_list.append(np.argmax(Ytrain[nn_index]))
        pred_counts = Counter(pred_list)
        top_1,top_count = pred_counts.most_common(1)[0]
        print "Test",i,"Prediction:",top_1,"True Class:", np.argmax(Ytest[i])
        if top_1 == np.argmax(Ytest[i]):
            accuracy += 1./len(Xtest)
    print "Done!"
    print "Accuracy:",accuracy