KNN分类和估计分类器的精度

1. 简介：

a python book in Data mining 《Machine Learning in Action》.
what is KNN？ http://www.cnblogs.com/ybjourney/p/4702562.html

2. 要求描述

实现KNN分类器后，将k-nearest neighbors algorithm应用于数据集。此数据集为差异甲基化区域的数据. 计算10倍交叉验证（10-fold cross-validation）的分类精度，并且计算出留一法交叉验证（loocv）的分类精度。
数据集描述 (数据集在文末给出)
ch02-dmr_data.xls （96*11），其中每一行是一个样本，每列代表一个属性
ch02-dmr_label.txt （1*96）， 是样本标签，共96个样本，两个类别

3. 实现方案

设计三个模块 knn.py, excel.py, tese.py

module	function
knn.py	使用python描述KNN算法
excel.py	将excel格式数据集导入程序
tese.py	10倍交叉验证和留一法交叉，验证分类精度

execl.py moudle

// how to setup xlrd moudle?
$ pip install --upgrade xlrd 
$ pip install --upgrade cutplace

#/usr/bin/env: python
#coding: utf-8
'''
从excel读入数据, 并定义每一个样本数据的类别
'''
import numpy as np
import os
from xlrd import open_workbook
from numpy import *  

wb = open_workbook('ch02-dmr_data.xls')
def excel_data():   
    items = []
    sheet = wb.sheets()[0]          #this sheet
    number_of_rows = sheet.nrows    # 行数
    number_of_columns = sheet.ncols # 列数

    for row in range(0, number_of_rows):
        values = []
        for col in range(number_of_columns):
            try:
                value = (sheet.cell(row,col).value)
            except ValueError:
                pass
            finally:
                values.append(value)
        items.append(values)
    #np矩阵方式保存训练数据集
    data = ([])
    data = np.array(items)

    #预测数据类别label
    labels = []
    count = 0
    fp = open("ch02-dmr_label.txt","r")
    for line in fp:
        line=line.strip('\n')
        labels.append(line)
    fp.close()
    return data, labels

knn.py moudle

#/usr/bin/env: python
#coding: utf-8

from numpy import *
import operator
import excel

#给出训练数据以及对应的类别
def createDataSet():
    group,labels = excel.excel_data()
    return group, labels

#通过KNN进行分类