基于KNN分类算法的自动划分电影的题材类型实现
1 分类算法引言
众所周知,电影可以按照题材分类,然而题材本身是如何定义的?由谁来判定某部电影属于哪个题材?也就是说同一题材的电影具有哪些公共特征?这些都是在进行电影分类时必须要考虑的问题。
- 动作片中也会存在接吻镜头,爱情片中也会存在打斗场景,我们不能单纯依靠是否存在打斗或者亲吻来判断影片的类型。
- 爱情片中的亲吻镜头更多,动作片中的打斗场景也更频繁,基于此类场景在某部电影中出现的次数可以用来进行电影分类。
那么如何基于电影中出现的亲吻、打斗出现的次数,使用k-近邻算法构造程序,自动划分电影的题材类型。
2 KNN算法及工作原理
k-近邻(KNN)算法采用测量不同特征值之间的距离方法进行分类。
- 存在一个样本数据集合,也称作训练样本集,并且样本集中每个数据都存在标签,即我们知道样本集中每一数据与所属分类的对应关系。
- 输入没有标签的新数据后,将新数据的每个特征与样本集中数据对应的特征进行比较,然后算法提取样本集中特征最相似数据(最近邻)的分类标签。
一般来说,我们只选择样本数据集中前k个最相似的数据,通常k是不大于20的整数。最后,选择k个最相似数据中出现次数最多的分类,作为新数据的分类。
3 KNN的第一个实例:电影的分类
3.1 项目介绍
动作,爱情,喜剧,灾难…???
-
使用打斗和接吻镜头数分类电影
-
每部电影的打斗镜头数、接吻镜头数以及电影评估类型
-
已知电影与未知电影的距离
得到了距离后,选择前k个电影来判断未知电影的类型
3.2 如何求距离?------欧氏距离公式
- 二维空间
- 多维空间
3.3 k-近邻算法的一般流程
(1) 收集数据:可以使用任何方法。
(2) 准备数据:距离计算所需要的数值,最好是结构化的数据格式。
(3) 分析数据:可以使用任何方法。
(4) 训练算法:此步骤不适用于k-近邻算法。
(5) 测试算法:计算错误率。
(6) 使用算法:首先需要输入样本数据和结构化的输出结果,然后运行k-近邻算法判定输
入数据分别属于哪个分类,最后应用对计算出的分类执行后续的处理。
3.4 数据准备:使用 Python 导入数据
import numpy as np
def createDataSet():
"""创建数据集"""
# 每组数据包含打斗数和接吻数;
group = np.array([[3, 104], [2, 100], [1, 81], [101, 10], [99, 5], [98,