KNN是比较简单且好用的算法。
读本篇博客之前,需要先对numpy、scikit-learn有个基本的了解,因为它们都是python做科学计算、机器学习必备的好工具!
还有就是需要了解cross validation(交叉验证),可参考我的另外一片博客:交叉验证
A. 算法原理
KNN是个怎样的算法呢?其实顾名思义就能猜个七八成了,k-nearest-neighbors,邻居?首先假设我们有一个计算两个sample之间的距离的函数distance,然后我们可以用它来计算测试的sample与所有train_samples之间的距离,在这些距离中,我们选最小的k个,投票决定(每个选出来的距离当然是投给它相应的那个类别啦),那个投票最多的类别(如果有多个,则可以进一步细化或直接随机选一个即可)作为最终分类的类别。
原理十分简单,实现起来也很简单。
推荐好习惯:
对于数组、矩阵的操作,尽量使用numpy的各种运算来加速,不然用python处理规模稍微大点的数据集会坑害自己的!!!除非你自己手写各种优化、并行、多线程之类的,不过numpy已经做得很好了。
B. 实现
首先是实现了一个叫做KNN的模块,封装了如何获取数据集,如何分类一个sample,以及如何分类一个测试集,以及计算准确率的函数。使用的是著名的Iris数据集,其描述可以参考:Iris数据集的介绍
# !/usr/bin/env python2
# -*- coding: utf-8 -*-
__author__ = 'jacket'
# standard module
import sys
# third-party module
import numpy as np