1.1K~近邻算法(近邻算法简单的实现分类器)
最近写了下机器学习的k~近邻算法代码里写的比较清楚了可以直接看代码注释进行学习,一步步都有输出提示简明易懂。
这里只写下近邻算法的主要思想和过程:存在一个样本数据集合,也称作为训练样本集,并且样本集中每个数据都存在标签,即我们知道样本集中每一个数据与所属分类的对应关系。输入没有标签的新数据后,将新的数据的每个特征与样本集中数据对应的特征进行比较,然后算法提取样本最相似数据(最近邻)的分类标签。一般来说,我们只选择样本数据集中前k个最相似的数据,这就是k-近邻算法中k的出处,通常k是不大于20的整数。最后,选择k个最相似数据中出现次数最多的分类,作为新数据的分类。
图为两点间距离公式
k-近邻算法步骤如下:
1.计算已知类别数据集中的点与当前点之间的距离;
2. 按照距离递增次序排序;
3.选取与当前点距离最小的k个点;
4.确定前k个点所在类别的出现频率;
5. 返回前k个点所出现频率最高的类别作为当前点的预测分类。
import numpy as np
import operator
def createDataSet():
group=np.array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]]) #样本特征值
labels=['A','A','B','B'] #标签量
return group,labels
if __name__ == '__main__':
#创建数据集
group, labels = createDataSet()
#打印数据集
print('训练集:',group)
print('标签量:',labels)
"""
函数说明:kNN算法,分类器
Parameters(参数):
inX - 用于分类的数据(测试集)
dataSet - 用于训练的数据(训练集)
labes - 分类标签
k - kNN算法参数,选择距离最小的k个点
Returns:
sortedClassCount[0][0] - 分类结果
Modify:
2020-03-28
"""
def classify0(inX, dataSet, labels, k):
#numpy函数shape[0]返回dataSet的行数,例如矩阵为4*2的,dataSet.shape[1]=2.
dataSetSize = dataSet.shape[0]
print('训练集的行数:',dataSetSize)
#重复训练数组来扩充数组,A=([1,2]);B=np.tile(A,(2,1));意思是行向量重复2次,列向量不变,B变成了2行2列的数组
# 在列向量方向上重复inX共1次(横向),行向量方向上重复inX共dataSetSize次(纵向)
print('将测试点扩充到训练集同维数后:',np.tile(inX, (dataSetSize, 1)))
diffMat = np.tile(inX, (dataSetSize, 1)) - dataSet#这里就是计算了下输入点距离四个样本点特征值的距离
print('测试点到训练集内各点的距离(x-x0,y-y0):',diffMat)
#可以看到输入测试数据是[101,20],重复过后diffMat是
''' [[100. 18.9]
[100. 19. ]
[101. 20. ]
[101. 19.9]]'''
#二维特征相减后平方
sqDiffMat = diffMat**2
print('[(x-x0)**2,(y-y0)**2]为:',sqDiffMat)
#sum()所有元素相加,sum(0)列相加,sum(1)行相加
sqDistances = sqDiffMat.sum(axis=1)
print('x与y相加:',sqDistances)
#开方,计算出距离
distances = sqDistances**0.5
print('开方求出距离存储到距离数组里:',distances)
#返回distances中元素从小到大排序后的索引值
sortedDistIndices = distances.argsort()
print('距离数组里距离从小到大排序后的索引值(即对应的类别0-A,1-A,2-B,3-B):',sortedDistIndices)
#定义一个记录类别次数的字典
classCount = {}
for i in range(k):
#取出前k个元素的类别
voteIlabel = labels[sortedDistIndices[i]]
print('取出前k个标签量,第{}个标签量为:'.format(i+1),voteIlabel)
#dict.get(key,default=None),字典的get()方法,返回指定键的值,如果值不在字典中返回默认值。
#计算类别次数
classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
print('建立键值对为类别-出现次数的字典键值对:',classCount[voteIlabel])
print('类别字典:',classCount)
#python3中用items()替换python2中的iteritems()
#key=operator.itemgetter(1)根据字典的值进行排序
#key=operator.itemgetter(0)根据字典的键进行排序
#reverse降序排序字典
sortedClassCount = sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
print('降序排序的字典:',sortedClassCount)
#返回次数最多的类别,即所要分类的类别
print('取出排序后字典里出现最多的类别关键字:',sortedClassCount[0][0])
return sortedClassCount[0][0]
if __name__ == '__main__':
#创建数据集
group, labels = createDataSet()
#测试集
test = [0.2,0.3]
#kNN分类
test_class = classify0(test, group, labels, 3)
#打印分类结果
print('分类结果为:',test_class)