【机器学习实战】KNN

KNN是比较简单且好用的算法。
读本篇博客之前，需要先对numpy、scikit-learn有个基本的了解，因为它们都是python做科学计算、机器学习必备的好工具！

还有就是需要了解cross validation（交叉验证），可参考我的另外一片博客：交叉验证

A. 算法原理

KNN是个怎样的算法呢？其实顾名思义就能猜个七八成了，k-nearest-neighbors，邻居？首先假设我们有一个计算两个sample之间的距离的函数distance，然后我们可以用它来计算测试的sample与所有train_samples之间的距离，在这些距离中，我们选最小的k个，投票决定（每个选出来的距离当然是投给它相应的那个类别啦），那个投票最多的类别（如果有多个，则可以进一步细化或直接随机选一个即可）作为最终分类的类别。
原理十分简单，实现起来也很简单。

推荐好习惯：

对于数组、矩阵的操作，尽量使用numpy的各种运算来加速，不然用python处理规模稍微大点的数据集会坑害自己的！！！除非你自己手写各种优化、并行、多线程之类的，不过numpy已经做得很好了。

B. 实现

首先是实现了一个叫做KNN的模块，封装了如何获取数据集，如何分类一个sample，以及如何分类一个测试集，以及计算准确率的函数。使用的是著名的Iris数据集，其描述可以参考：Iris数据集的介绍

# !/usr/bin/env python2
# -*- coding: utf-8 -*-
__author__ = 'jacket'


# standard module
import sys

# third-party module
import numpy as np