机器学习：K-近邻算法（一）判断电影类型

目录

一、KNN

二、距离度量

 三、实战项目（判断电影类型）：主要练习k-近邻算法的实现

1.准备数据集

 2.k-近邻算法

(1)利用距离公式写算法：​

（2）不会的知识点：

一、KNN

K-近邻算法用作基本分类与回归，其中k是指选择样本集中前k个最相似的数据集，最后从k个最相似的数据集中选出出现次数最多的分类。

二、距离度量

前k个最相似的数据集，这个最相似指的是特征最相似，也就是说k-近邻算法是根据特征比较，得到特征最相似的数据的分类标签，然后找出出现频率最高的标签。那么如何做到特征比较呢？其实就是计算一个样本与另一个样本之间的距离，这个距离就是利用距离公式计算来的。下图第一个公式是两个特征时使用的，第二个是两个特征以上时使用的。

 三、实战项目（判断电影类型）：主要练习k-近邻算法的实现

电影名称	打斗镜头	接吻镜头	电影类型
电影1	1	101	爱情片
电影2	5	89	爱情片
电影3	108	5	动作片
电影4	115	8	动作片

这个项目中有两个特征：打斗镜头和接吻镜头

1.准备数据集

import numpy as np

'''
主要就是获取特征矩阵和标签列表
'''
def CreatdataSet():
    #创建特征矩阵
    dataSet=np.array([[1,101],[5,89],[108,5],[115,8]])
    #创建标签
    labels=['爱情片','爱情片','动作片','动作片']
    return dataSet,labels


if __name__=='__main__':
    dataSet,labels=CreatdataSet()
    print(dataSet)
    print(labels)

 执行的结果是：

 2.k-近邻算法

(1)利用距离公式写算法：

'''
参数说明：
inX--指测试集
dataSet--指训练集
labels--指分类标签
k--指找前k个最相似数据

返回值：返回前k个最相似中出现次数最多的标签
'''

def classify0(inX,dataSet,labels,k):
    #获取训练集数据集的行数
    dataSetsize=dataSet.shape[0]
    #训练集数据（矩阵）减去测试集数据（一维）
    diffMat=np.tile(inX,(dataSetsize,1))-dataSet
    #将减去的后的数据平方
    double_diffMat=diffMat**2
    #将平方后的数据相加
    sum_data=double_diffMat.sum(1)
    #相加后再开平方
    result_data=sum_data*0.5
    #返回result_data中从小到大排序的索引值
    sortedDistIndices=result_data.argsort()
    classCount={}
    for i in range(k):
        #提取前k个元素的类别，通过排好序的索引值
        voteIlabel=labels[sortedDistIndices[i]]
        #计算每个类别的次数
        classCount[voteIlable]=classCount.get(voteIlabel,0)+1
        #将字典排序，按字典的值排序：key=operator.itemgetter(1)
        #按字典的键记性排序：key=operator.itemgetter(0)
        sortedClassCount=sotred(classCount.items(),
        key=operator.itemgetter(1),reverse=True)
        #返回次数最多的类别
        return sortedClassCount[0][0]
    

（2）不会的知识点：

A.numpy的tile()函数

例子：a=np.array([0,1,2])

result=np.tile(a,(2,1))  #表示将a在x轴上复制为1倍，即保持不变，在y轴上复制为2倍

结果为：

[[0,1,2],

   [0,1,2]]

B.列表(矩阵)的sum()

对于列表--->sum(list)将列表中的所有数相加即可

对于矩阵--->x=np.array([[1,2],[3,4]])

        sum(1) #按行相加（行内部相加）

        例如：np.sum(a,axis=1)或这样写x.sum(1)

        结果为：[3,7]  

        sum(0)#按列相加，列内部相加

        例如：np.sum(x,axis=0)或这样写x.sum(0) 

        结果为：[4,6]

        sum()还有一个关键字，确定是否保持几维特性

        例如：np.sum(x,axis=1,keepdims=True)

        结果为：[[3],[7]]

C.nump模块中的argsort()函数

第一种用法：将数组中的元素从小到大排序后的索引值构成的数组返回（注：列表中没有argsort()）,原数组不受影响

使用效果如下：

 错误结果示范：

 第二种用法：若为二维数组，要区分是按行还是按列排序

np.argsort(x,axis=0)#按列排序

np.argsort(x,axis=1)#按行排序

第三中用法：升序排列还是降序排列

默认为升序排列，若想要降序排列在数组前加‘-’符号，例如:np.argsort(-x)

第四种用法:通过索引值获得排序后的数组

D.字典中的ge(key,dufault)方法

 返回字典中指定键key的值，若不存在，返回指定的默认值default

E.字典的排序方法sorted()

 sorted(dict.items(),key=operator.itemgetter(0或1),reverse=True或False)

解析：python3中用items()代替python2中的iteritems()

operator.itemgetter(0)根据字典的键进行排序

operator.itemgetter(1)根据字典的值进行排序

reverse用来确定是否进行降序排列

下面是算法的运行结果：

 

批注：我学习的博主Jack Cui,网址：Jack Cui | 关注人工智能及互联网的个人网站 (cuijiahua.com)

我就是看他的学习记录学习的，详细学习内容可进入他的网站学习。我写文章主要目的是为了再次熟悉代码和记录不会的知识点。