什么是KNN?
k-近邻算法是一个简单的,常被用于分类问题的算法。根据现有的数据进行训练,对输入数据预估分类。
KNN算法的原理
它的工作原理是:存在一个样本数据集合,也称作训练样本集,并且样本集中每个数据都存在标签,即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后,将新数据的每个特征与样本集中数据对应的特征进行比较,然后算法提取样本集中特征最相似数据(最近邻)的分类标签。一般来说,我们只选择样本数据集中前k个最相似的数据,这就是k-近邻算法中k的出处,通常k是不大于20的整数。
最后,选择k个最相似数据中出现次数最多的分类,作为新数据的分类。
如图,把灰色的点分为黄色,绿色或棕色中的一类。
先计算要分类的点与其他点的距离,根据K值找出距离最近的K个点。
距离最近的点中占比最大的分类即为预测出的分类。
K值的设定
k 值取小的话,意味着数据噪音将会在结果上有很大的影响。k 值取大的话,将会使计算成本很大。k 的取值很大程度上也依赖于个人遇到的问题。如何取得更好的 k 值,将由自己来衡量。
实践:使用 k-近邻算法改进约会网站的配对效果
import matplotlib as mp
import jieba
from gensim import corpora,models
from numpy import *
def charge():
with open(r'datingTestSet.txt','r') as f:
Line=f.readlines()
lenth=len(Line)
Mat=zeros((lenth,3))
Lable=[]
index=0
for line in Line:
line=line.strip()
line_split=line.split('\t')
Mat[index,:]=line_split[0:3]
Lable.append(line_split[-1])
index+=1
return Mat,Lable
def classfiy(inX, dataSet, labels, k):
dataSetSize = dataSet.shape[0] # (6,2)
# tile复制数组 e.g. [0,1], tile([0,1], (3,1)) -> [[0,1],[0,1],[0,1]]
diffMat = tile(inX, (dataSetSize, 1)) - dataSet
print(diffMat)
sqDiffMat = diffMat ** 2
print(sqDiffMat)
# axis表示需要加和的维度
sqDistances = sqDiffMat.sum(axis=1)
print(sqDistances)
distances = sqDistances ** 0.5
print(distances)
# sortedDistIndicies 是一个排好序的index
sortedDistIndicies = distances.argsort()
print(sortedDistIndicies)
classCount = {}
for i in range(k):
voteIlabel = labels[sortedDistIndicies[i]]
print(voteIlabel)
# get是一个字典dict的方法,它的作用是返回key对应的value值,如果没有的话,返回默认值,就是下一行的0
# classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
print(classCount)
# sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
sortedClassCount = sorted(classCount.items(), key=lambda d: float(d[1]), reverse=True)
print(sortedClassCount)
return sortedClassCount