【机器学习】入门第一天

总览

算法原理

K-近邻算法的步骤

1. 计算已知类别数据集中的点与当前点间的距离
2. 按照距离递增的顺序进行排序
3. 选取出距离最小的前k个点
4. 找出前k个点中类别出现频率最高的点
5. 选取该类别作为测试数据的预测类别

python基础代码知识

1.np.tile(inX,(dataSetSize,1))表示把inX在列向量方向重复1次，行向量重复dataSize次，在本例中即把inX构造成和dataSet阶数一样的矩阵，以方便进行相减运算。
2.array.argsort()即表示将数组array从小到大排序并返回其排序后的下标值。
3.dict.get(key,default=None)字典的get()方法，返回指定键的值，如果不在字典中则返回默认值None，本程序中返回的默认值设定为0。
4.key=operator.itemgetter(1)根据字典的值进行排序
5.key=operator.itemgetter(0)根据字典的键值进行排序

完整代码

import numpy as np
import operator

# 创建数据集
def createDataSet():
    group = np.array([[1, 101], [5, 89], [108, 5], [115, 8]])
    # 标签
    labels = ['爱情片', '爱情片', '动作片', '动作片']
    return group, labels

'''
K-NN算法
Paraments：
inX 用于分类的数据（测试集）
dataSet 用于训练的数据（训练集）
labes 分类标签
K  K-NN选择距离最小的前K个点
Returns：
sortedClassCount[0][0] 分类结果
'''
def K_NN(inX,dataSet,labes,k):
    # dataSet的行数
    dataSetSize=dataSet.shape[0]
    # 在列向量发现上重复inX共1次（横向），行向量方向重复dataSetSize次（纵向）,即意思是把inX转化为阶数和dataSet相同的矩阵
    diffMat=np.tile(inX,(dataSetSize,1))-dataSet
    sqDiffMat=diffMat**2 #二维向量相减后平方
    #sum()所有元素相加，sum(0)列相加，sum(1)行相加
    sqDistances=sqDiffMat.sum(axis=1)

    # 开方计算出距离
    distances=sqDistances**0.5
    # 返回distances中元素从小到大排序后的索引值，放回排序后数据原本的下标
    sortedDistIndices=distances.argsort()

    # 定义一个记录类别次数的字典
    classCount={}
    for i in range(k):
        # 取出前K个元素的类别，即依次取出排序后的标签名
        votellabel=labels[sortedDistIndices[i]]
        # dict.get(key,default=None)字典的get()方法，返回指定键的值，如果不在字典中则返回默认值None，本程序中返回的默认值设定为0
        classCount[votellabel]=classCount.get(votellabel,0)+1

                
    sortedClassCount=sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
    # 放回出现频率最高的标签
    return sortedClassCount[0][0]




if __name__=='__main__':
    group,labels=createDataSet()
    print(group)
    print(labels)

    test=[101,20]

    test_class=K_NN(test,group,labels,3)
    print(test_class)

[1]参考大佬 Jack-Cui