ML_01knn

knn初步实现（代码借鉴github。包括自己的一些笔记，后面会接着更，希望能入门ml）

# coding: UTF-8
import numpy as np

# operator封装了与操作相关的函数，如加减乘除
import operator
# 包含了一些特殊的容器，针对py内置的容器如list、dict、set和tuple提供了另一种选择
# namedtuple 可以创建包含名称的tuple
# deque 类似于list的容器，计算可hash的对象
# ordereddict dict的子类，可以记住元素的添加顺序
# defaultdict dice的子类，可以调用提供默认值的函数
import collections

"""
Introduction: 创建数据集

Parameters: none

Return: 
        group - 数据集
        labels - 分类标签

Modify: 2021-4-13
"""
def createDataSet():
    # 四组二维特征 array()用来产生数组
    group = np.array([[1, 101], [5, 89], [108, 5], [115, 8]])
    # 四组特征的标签
    labels = ['c1', 'c1', 'c2', 'c2']

    return group, labels

"""
Introduction: knn algorithm

Parameters: 
            testdata - 测试数据
            dataset - 训练数据
            labels - 分类标签
            k - knn算法参数
Return: 
        label - 分类结果

Modify: 2021-4-13
"""
def classify(testdata, dataset, labels, k):
    # 计算距离 axis=1 是算一行的 axis=0是算一列的
    dist = np.sum((testdata - dataset) ** 2, axis=1) ** 0.5
    # k个最近标签
    k_labels = [labels[index] for index in dist.argsort()[0 : k]]
    # 出现比例高的的标签为该类别, 输出数量最多的第一个
    # 中第一个[0]是取list中第一个元素，因为这里只取了结果中最多的一个元素（.most_common(1)）所以只有这一个。
    # 第二个[0]是q:取出的结果实际上包含元素和对应的数量，我们只需要这个元素是什么。
    label = collections.Counter(k_labels).most_common(1)[0][0]
    return label

if __name__ == '__main__':
    # 创建数据集
    group, labels = createDataSet()
    # 测试集
    test = [101, 20]
    # knn分类
    test_class = classify(test, group, labels, 3)
    # 打印分类结果
    print(test_class)