K-近临分类算法(KNN)
原理:
K最近邻(K-Nearest Neighbor,KNN)算法核心思想是如果一个样本在特征空间中的k个最临近的样本中的大多数属于某一个类别,则该样本也属于这个类别。K通常是不大于20的整数。在训练集中数据和标签已知的情况下,输入测试数据,将测试数据的特征与训练集中对应的特征进行相互比较,找到训练集中与之最为相似的前K个数据,则该测试数据对应的类别就是K个数据中出现次数最多的那个分类。
算法流程:
算法实例(课内)
使用打斗和接吻镜头数分类电影
每部电影的打斗镜头数、接吻镜头数以及电影评估类型
已知电影与未知电影的距离
得到了距离后,选择前k个电影来判断未知电影的类型
代码:
代码来源:机器学习(六)-基于KNN分类算法的自动划分电影的题材类型实现 - UCloud云社区
import numpy as np
def createDataSet():
"""创建数据集"""
# 每组数据包含打斗数和接吻数;
group = np.array([[3, 104], [2, 100], [1, 81], [101, 10], [99, 5], [98, 2]])
# 每组数据对应的标签类型;
labels = ["Roman", "Roman", "Roman", "Action", "Action", "Action"]
return group, labels
def classify(inx, dataSet, labels, k):
"""
KNN分类算法实现
:param inx:要预测电影的数据, e.g.[18, 90]
:param dataSet:传入已知数据集,e.g. group 相当于x
:param labels:传入标签,e.g. labels相当于y
:param k:KNN里面的k,也就是我们要选择几个近邻
:return:电影类新的排序
"""
dataSetSize = dataSet.shape[0] # (6,2) -- 6行2列 ===> 6 获取行数
# tile会重复inx, 把它重复成(dataSetSize, 1)型的矩阵
# (x1 - y1), (x2 - y2)
diffMat = np.tile(inx, (dataSetSize, 1)) - dataSet
# 平方
sqDiffMat = diffMat ** 2
# 相加, axis=1行相加
sqDistance = sqDiffMat.sum(axis=1)
# 开根号
distance = sqDistance ** 0.5
# 排序索引: 输出的是序列号index, 而不是值
sortedDistIndicies = distance.argsort()
# print(sortedDistIndicies)
classCount = {}
for i in range(k):
# 获取排前k个的标签名;
voteLabel = labels[sortedDistIndicies[i]]
classCount[voteLabel] = classCount.get(voteLabel, 0) + 1
sortedClassCount = sorted(classCount.items(),
key=lambda d: float(d[1]),
reverse=True)
return sortedClassCount[0][0]
if __name__ == "__main__":
group, label = createDataSet()
result = classify([3, 104], group, label, 5)
print("[3, 104]的电影类型:", result)
测试结果:
算法实例(课外)
首先,收集学生(居住在五社区或六社区的学生)一周内去西苑餐厅或者万人餐厅的次数,根据次数判断学生居住区域。
A(训练集)
B(测试集)
根据上方课内代码改编可得:
代码截图: