机器学习之k-近邻算法

1.对于多维样本点，需遵循欧几里得距离：

两点为：

2.k-近邻算法步骤：

（1）计算已知类别数据集中的点与当前点之间的距离

（2）按照距离递增次序排序

（3）选取与当前点距离最小的k个点

（4）确定前k个点所在类别的出现频率

（5）返回前k个点出现频率最高的类别作为当前点的预测类别

注意：当不同维度之间有较大差异时（数值相差较大），需做归一化处理（0-1标准化、z-score标准化、sigmoid压缩法等）

3.python实战

import pandas as pd

'''
inx:表示测试样本
dataSet:表示训练数据集
k:表示取前几个样本点
'''
def classify0(inx,dataSet,k):
    result = []
    #计算已知类别数据集中的点与当前点之间的距离
    dist = list((((dataSet.iloc[:6,1:3]- inx)**2).sum(1))**0.5)
    #按照距离递增次序排序,并选取与当前点距离最小的k个点
    dist_1 = pd.DataFrame({'dist':dist,'labels':(dataSet.iloc[:6,3])})
    dr = dist_l.sort_values(by='dist')[:k]
    #确定前k个点所在类别的出现频率
    re = dr.loc[:,'labels'].value_counts()
    #返回前k个点出现频率最高的类别作为当前点的预测类别
    result.append(re.index[0])
    return result

if __name__ == "__main__":
    rowdata = {'电影名称':['无问西东','后来的我们','前任3','红海行动','唐人街探案','战狼'],'打斗镜头':[1,5,12,108,112,115],'接吻镜头':[101,89,97,5,9,8],'电影类型':['爱情片','爱情片','爱情片','动作片','动作片','动作片']}
    movie_data = pd.DataFrame(rowdata)
    new_data = [24,67]

    print(classify0(new_data,movie_data,4))

输出结果：

 

 

 

最后，感谢菊安酱在哔站的认真讲解！