统计机器学习--k近邻法

继续统计机器学习的学习记录--k近邻算法，本书唯一一个聚类算法，不过在原书中， 讲的依旧是分类的内容。（其实差不太多，具体的我也不写了，就记录分类的内容）

一. k近邻算法

k近邻算法简单、直观：给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的k个实例，这k个实例的多数属于某个类，就把该输入实例分为这个类。（说好的不抄书呢？好吧，就抄这么一句，k近邻算法也就是这样了，具体查书）。

注意，所谓的k，就是距离当前样本最近的k个已知样本最多的类别是什么？那当前样本就是什么类别。

二. k近邻模型

k近邻法使用的模型实际上对应于特征空间的划分。模型由三个基本要素——距离度量、k值得选择和分类决策规则决定。-- 《统计机器学习》

感觉书里讲得还是非常清楚的。

首先要计算两个样本的距离，书中介绍了Minkowski距离，欧氏距离，曼哈顿距离等，这个距离是用来度量两个样本的相近程度的。

接着，在确定当前样本是哪个类别的时候，我们需要确定到底要参考多少个样本点，这里选择k值是比较讲究的，k值设置太小，比如说k=1，那么如果已知样本中有异常点，同时，给定样本点最近的点就是这个异常点，那么给定样本判定错误的几率将会非常高，大概就是偏听则暗了，但是，兼听则明在这里却不好用，我们依旧极端来讲，假如设置k=N（原样本数），那么当前样本则会被判定为原样本集中标签数量最多的标签，那么到底该咋办呢？大多数时候，我们一般会选择听取一些跟自己比较亲密的几个人的建议，那我们在设置k的时候也可以按这种策略去选择，当然，完全可以根据损失来选取k值。

三. k近邻法的实现：kd树

其实关于这个章节，有一部分我一直没有推理出来：用kd树的最近邻搜索。虽然没有推理出来，但这并不影响理解代码和使用，只能再慢慢理解了。（总感觉是某个数学上的知识我没有掌握的缘故）

整个算法的过程分为两个步骤：1. 构造平衡kd树。2. 用kd树的最近邻搜索

1. 构造平衡kd树： 这一步还是相对来说比较简单的，

1）首先，选择一个特征，根据特征值，取所有样本中的中位数作为切分点，将样本集切分成两部分。

2）在切分后的样本集中，选取下一个特征（上一层选择的是第一个特征的话，下一层就选择第二个特征，如果上一层是最后一个特征，那下一层就选择第一个特征），进行于1）相同的操作。

3）不断循环1）2）直到所有样本都分配完毕。

这个参考书上的例子更好理解。

2. 用kd树的最近邻搜索：由于我并不懂，我就不逼逼太多了，整个过程就是从顶向下找到一个较近节点，然后再不断反复从下向上，从上到下地去搜索最近节点，至于其中的截断原理我并不懂，我就不讲了。

四. 代码

1. 构造平衡kd树

代码的思路还是很清晰的，其实我觉得看代码比看文字更好懂。

主要讲一下CreateNode(split, data_set)函数。

这个函数是用来生成kd树的，采用递归的方式。

split为当前划分特征的下标。

data_set为当前需要划分的样本集（节点集）。

函数中的执行步骤，与书中和以上的说法一致，不再赘述。

# kd-tree每个结点中主要包含的数据结构如下
class KdNode(object):
    def __init__(self, dom_elt, split, left, right):
        self.dom_elt = dom_elt  # k维向量节点（k维空间中的一个样本点）
        self.split = split      # 整数（进行分割维度的序号）
        self.left = left        # 该结点分割超平面左子空间构成的kd-tree
        self.right = right      # 该结点分割超平面右子空间构成的kd-tree
        

class KdTree(object):
    def __init__(self, data):
        k = len(data[0])  # 数据维度
        
        def CreateNode(split, data_set):  # 按第split维划分数据集exset创建kdNode
            if not data_set: # 数据集为空
                return None
            # key参数的值为一个函数，此函数只有一个参数且返回一个值用来进行比较
            # operator模块提供的itemgetter函数用于获取对象的那些维的数据，参数为需要获取的数据在对象中的序号
            # data_set.sort(key=itemgetter(split)) # 按要进行分割的那一维数据排序
            data_set.sort(key=lambda x: x[split])
            split_pos = len(data_set) // 2    # //为python中的整数除法
            median = data_set[split_pos]      # 中位数分割点
            split_next = (split + 1) % k      # cycle coordinates
            
            # 递归的创建kd树
            return KdNode(median, split,
                         CreateNode(split_next, data_set[:split_pos]),      # 创建左子树
                         CreateNode(split_next, data_set[split_pos + 1:]))  # 创建右子树
        
        self.root = CreateNode(0, data)    # 从第0维分量开始构建kd树，返回根节点

# KDTree的前序遍历
def preorder(root):
    print(root.dom_elt)
    if root.left:  # 节点不为空
        preorder(root.left)
    if root.right:
        preorder(root.right)

 2. 用kd树的最近邻搜索：

emmmmm，等我读懂了，我想我会补充的。总感觉被这个东西打败了。。（呜呜呜~）

# 对构建好的kd树进行搜索，寻找与目标点最近的样本点
from math import sqrt
from collections import namedtuple

# 定义一个namedtuple，分别存放最近坐标点、最近距离和访问过的节点数
result = namedtuple("Result_tuple", "nearest_point  nearest_dist  nodes_visited")

def find_nearest(tree, point):
    k = len(point) # 数据维度
    def travel(kd_node, target, max_dist):
        if kd_node is None:
            return result([0] * k, float("inf"), 0) # python中用float("inf")和float("-inf")表示正负无穷
        
        nodes_visited = 1
        
        s = kd_node.split        # 进行分割的维度
        pivot = kd_node.dom_elt  # 进行分割的“轴”
        
        if target[s] <= pivot[s]:           # 如果目标点第s维小于分割轴的对应值（目标离左子树更近）
            nearer_node = kd_node.left      # 下一个访问节点维左子树根节点
            further_node = kd_node.right    # 同时记录下右子树
        else:                               # 目标离右子树更近
            nearer_node = kd_node.right     # 下一个访问节点为右子树根节点
            further_node = kd_node.left
        
        temp1 = travel(nearer_node, target, max_dist)  # 进行遍历找到包含目标点的区域
        
        nearest = temp1.nearest_point       # 以此叶节点作为"当前最近点"
        dist = temp1.nearest_dist           # 更新最近距离
        
        nodes_visited += temp1.nodes_visited
        
        if dist < max_dist:
            max_dist = dist      # 最近点将在目标点为球心，max_dist为半径的超球体内
            
        temp_dist = abs(pivot[s] - target[s])   # 第s维上目标点与分割超平面的距离
        if max_dist < temp_dist:                # 判断超球体是否与超平面相交
            return result(nearest, dist, nodes_visited) # 不相交则而可以直接返回，不用继续判断
        
        #---------------------------------------------------------------------------
        # 计算目标点与分割点的欧氏距离
        temp_dist = sqrt(sum((p1 - p2) ** 2 for p1, p2 in zip(pivot, target)))
        
        if temp_dist < dist:        # 如果“更近”
            nearest = pivot         # 更新最近点
            dist = temp_dist        # 更新最近距离
            max_dist = dist         # 更新超球体半径
        
        # 检查另一个子节点对应的区域是否有更近的点
        temp2 = travel(further_node, target, max_dist)
        
        nodes_visited += temp2.nodes_visited
        if temp2.nearest_dist < dist:        # 如果另一个子节点内存在更近距离
            nearest = temp2.nearest_point    # 更新最近点
            dist = temp2.nearest_dist        # 更新最近距离
        
        return result(nearest, dist, nodes_visited)

    return travel(tree.root, point, float("inf"))  # 从根节点开始递归    
        

五. 参考

1. 《统计机器学习》—— 李航

2. github：KNN