KNN简单实现

最新推荐文章于 2022-04-07 14:43:19 发布
最新推荐文章于 2022-04-07 14:43:19 发布
阅读量1.1k 收藏 1
点赞数 2
分类专栏： 机器学习实战 文章标签： 机器学习 KNN 实战
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lilong117194/article/details/76641337
版权

最近开始学习机器学习实战，第一个就是KNN，由于K-近邻算法比较简单，这里不再介绍理论知识，直接看代码实现：

KNN的简单实现

需要用到的一些语法：
tile()
sum(axis=1)
argsort，sort 和 sorted，operator.itemgetter函数
get(),items()，iteritems()方法

# coding=utf-8
from numpy import *
import operator # 运算符模块,执行排序操作时将用到
import matplotlib.pyplot as plt

# 建立训训练集和相应的标签
def createDataset():
    # 数组，注意此处是两个中括号
    group=array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    labels=['A','A','B','B']
    return (group,labels)

# 简单分类
def classify0(inX,dataSet,labels,k):
    #shape[0]得到的是矩阵行数，shape[1]得到列数
    dataSetSize=dataSet.shape[0] 
    # tile()得到和dataset相同的维数，进行相减
    diffMat=tile(inX,(dataSetSize,1))-dataSet 
    #print(diffMat)
    # 各向量相减后平方
    sqDiffMat = diffMat**2
    #print(sqDiffMat)
    # axis=1按行求和，得到了平方和
    sqDistances = sqDiffMat.sum(axis=1)
    #print(sqDistances)
    # 开根号，求得输入向量和训练集各向量的欧氏距离
    distances = sqDistances**0.5
    #print(distances)
    # 得到各距离索引值，是升序,即最小距离到最大距离
    sortedDistIndicies = distances.argsort()
    #print( sortedDistIndicies)
    classCount={} 
    for i in range(k):
        # 前k个最小距离的标签
        voteIlabel = labels[sortedDistIndicies[i]]
        #print( voteIlabel)
        # 累计投票数
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
    print('classCount:',classCount)

    # 把分类结果进行排序，然后返回得票数最多的分类结果
    # 其中iteritems()把字典分解为元祖列表，itemgetter(1)按照第二个元素的次序对元祖排序
    sortedClassCount = sorted(classCount.iteritems(), \
                        key=operator.itemgetter(1), reverse=True)
    print(sortedClassCount)
    # 输出分类标签
    #print(sortedClassCount[0][0]) 
    return sortedClassCount[0][0]


# 读的是datingTestSet2.txt，不是datingTestSet.txt
file_raw='C:\Users\LiLong\Desktop\datingTestSet2.txt'   
if __name__== "__main__": 
    # 导入数据
    group,labels=createDataset()
    print('training data set:',group)
    print('labels of training data set:',labels)
    # 简单分类    
    tt=classify0([0,0],group,labels,3)
    print('Classification results:',tt)

运行结果：

('training data set:', array([[ 1. ,  1.1],
       [ 1. ,  1. ],
       [ 0. ,  0. ],
       [ 0. ,  0.1]]))
('labels of training data set:', ['A', 'A', 'B', 'B'])
('classCount:', {'A': 1, 'B': 2})
[('B', 2), ('A', 1)]
('Classification results:', 'B')

至此一个最简单的KNN分类就实现了

KNN算法改进约会网站的配对效果

数据的处理

会用到的语法：
matplotlib
min(iterable, *[, key, default])

# coding=utf-8
from numpy import *
import operator # 运算符模块,执行排序操作时将用到
import matplotlib.pyplot as plt

# 数据预处理   
def file2matrix(filename):
    '''
     从文件中读入训练数据，并存储为矩阵
    '''
    fr=open(filename,'r')
    # 源代码有错误
    arrayOfLines=fr.readlines()  # 只能读一次
    numberOfLines = len(arrayOfLines) # 得到样本的行数
    # 得到一个二维矩阵，行数是样本的行数，每行3列
    returnMat = zeros((numberOfLines,3)) 
    print('row:%s and column:%s' %(returnMat.shape[0],returnMat.shape[1]))
    classLabelVector = []  # 得到一个一维的数组，存放样本标签
    index = 0
    for line in arrayOfLines:
        #strip() 方法用于移除字符串头尾指定的字符（默认为所有的空字符，包括空格、换行(\n)、制表符(\t)等）
        line = line.strip()  # 把回车符号给去掉
        #对于每一行，按照制表符切割字符串，得到的结果构成一个数组，
        listFromLine = line.split('\t')
        #print(listFromLine[0:4])
        # 把分割好的数据放至数据集,是一个1000*3的数组
        returnMat[index,:] = listFromLine[0:3]       
        classLabelVector.append(int(listFromLine[-1]))
        index += 1
    return ( returnMat,classLabelVector)    
    fr.close()

# 归一化数据
def autoNorm(dataSet):
    # 每列的最小值minvals
    minVals=dataSet.min(0) # 0表示返回每列的最小值
    maxVals=dataSet.max(0)
    ranges=maxVals-minVals
    # 得到dataset相同行列数的0数组
    normDataSet=zeros(shape(dataSet))
    m = dataSet.shape[0] #数组的行数
    # tile复制形如[A,B,C](ABC分别代表每列的最小值)m行
    normDataSet = dataSet - tile(minVals, (m,1)) 
    # 归一化公式,注意是具体特征值相除
    normDataSet = normDataSet/tile(ranges, (m,1))   #element wise divide
    return normDataSet, ranges, minVals

# 分类测试
def datingClassTest():
    hoRatio = 0.10      
    datingDataMat,datingLabels = file2matrix('C:\Users\LiLong\Desktop\datingTestSet2.txt')
    normMat, ranges, minVals = autoNorm(datingDataMat)
    m = normMat.shape[0]
    # 测试数据的数量
    numTestVecs = int(m*hoRatio)
    print('the test number:',numTestVecs)
    errorCount = 0.0

    for i in range(numTestVecs):
        #normMat[i,:]表示输入的测试集是前100行的数据，normMat[numTestVecs:m,:]表示训练集
        #是100-1000的，datingLabels[numTestVecs:m]表示和训练集是对应的
        classifierResult = classify0(normMat[i,:],normMat[numTestVecs:m,:],\
                                     datingLabels[numTestVecs:m],3)
        print ("the classifier came back with: %d, the real answer is: %d"\
                % (classifierResult, datingLabels[i]))
        if (classifierResult != datingLabels[i]):  errorCount += 1.0
    print "the total error rate is: %f" % (errorCount/float(numTestVecs))
    print  errorCount

# 读的是datingTestSet2.txt，不是datingTestSet.txt
file_raw='C:\Users\LiLong\Desktop\datingTestSet2.txt'   
if __name__== "__main__":
    # 格式化数据
    datingDataMat,datingLables=file2matrix(file_raw)
    print datingDataMat
    print datingLables
    #print(array(datingLables)) # 以数组的部分省略形式显示
    # 创建散点图
    fig=plt.figure()
    ax=fig.add_subplot(111)
    ax.scatter(datingDataMat[:,1],datingDataMat[:,2])
    # c是颜色的数目，s是尺寸
    ax.scatter(datingDataMat[:,1],datingDataMat[:,2],\           c=15.0*array(datingLables),s=15.0*array(datingLables))
    plt.show()
    # 数据归一化
    normMat, ranges, minVals=autoNorm(datingDataMat)    
    print normMat

其中file2matrix得到的是数组矩阵，也即是可以处理的数据格式，如下：

[[  4.09200000e+04   8.32697600e+00   9.53952000e-01]
 [  1.44880000e+04   7.15346900e+00   1.67390400e+00]
 [  2.60520000e+04   1.44187100e+00   8.05124000e-01]
 ..., 
 [  2.65750000e+04   1.06501020e+01   8.66627000e-01]
 [  4.81110000e+04   9.13452800e+00   7.28045000e-01]
 [  4.37570000e+04   7.88260100e+00   1.33244600e+00]]

[3, 2, 1, 1, 1, 1, 3, 3, 1, 3, 1, 1, 2, 1, 1, 1, 1, 1, 2, 3, 2, 1, 2, 3, 2, 3, 2, 3, 2, 1, 3, 1, 3, 1, 2, 1, 1, 2, 3, 3, 1, 2, 3, 3, 3, 1, 1, 1, 1, 2, 2, 1, 3, 2, 2, 2, 2, 3, 1, 2, 1, 2, 2, 2, 2, 2, 3, 2, 3, 1, 2, 3, 2, 2, 1, 3, 1, 1, 3, 3, 1, 2, 3, 1, 3, 1, 2, 2, 1, 1, 3, 3, 1, 2, 1, 3, 3, 2, 1, 1, 3, 1, 2, 3, 3, 2, 3, 3, 1, 2, 3, 2, 1, 3, 1, 2, 1, 1, 2, 3, 2, 3, 2, 3, 2, 1, 3, 3, 3, 1, 3, 2, 2, 3, 1, 3, 3, 3, 1, 3, 1, 1, 3, 3, 2, 3, 3, 1, 2, 3, 2, 2, 3, 3, 3, 1, 2, 2, 1, 1, 3, 2, 3, 3, 1, 2, 1, 3, 1, 2, 3, 2, 3, 1, 1, 1, 3, 2, 3, 1, 3, 2, 1, 3, 2, 2, 3, 2, 3, 2, 1, 1, 3, 1, 3, 2, 2, 2, 3, 2, 2, 1, 2, 2, 3, 1, 3, 3, 2, 1, 1, 1, 2, 1, 3, 3, 3, 3, 2, 1, 1, 1, 2, 3, 2, 1, 3, 1, 3, 2, 2, 3, 1, 3, 1, 1, 2, 1, 2, 2, 1, 3, 1, 3, 2, 3, 1, 2, 3, 1, 1, 1, 1, 2, 3, 2, 2, 3, 1, 2, 1, 1, 1, 3, 3, 2, 1, 1, 1, 2, 2, 3, 1, 1, 1, 2, 1, 1, 2, 1, 1, 1, 2, 2, 3, 2, 3, 3, 3, 3, 1, 2, 3, 1, 1, 1, 3, 1, 3, 2, 2, 1, 3, 1, 3, 2, 2, 1, 2, 2, 3, 1, 3, 2, 1, 1, 3, 3, 2, 3, 3, 2, 3, 1, 3, 1, 3, 3, 1, 3, 2, 1, 3, 1, 3, 2, 1, 2, 2, 1, 3, 1, 1, 3, 3, 2, 2, 3, 1, 2, 3, 3, 2, 2, 1, 1, 1, 1, 3, 2, 1, 1, 3, 2, 1, 1, 3, 3, 3, 2, 3, 2, 1, 1, 1, 1, 1, 3, 2, 2, 1, 2, 1, 3, 2, 1, 3, 2, 1, 3, 1, 1, 3, 3, 3, 3, 2, 1, 1, 2, 1, 3, 3, 2, 1, 2, 3, 2, 1, 2, 2, 2, 1, 1, 3, 1, 1, 2, 3, 1, 1, 2, 3, 1, 3, 1, 1, 2, 2, 1, 2, 2, 2, 3, 1, 1, 1, 3, 1, 3, 1, 3, 3, 1, 1, 1, 3, 2, 3, 3, 2, 2, 1, 1, 1, 2, 1, 2, 2, 3, 3, 3, 1, 1, 3, 3, 2, 3, 3, 2, 3, 3, 3, 2, 3, 3, 1, 2, 3, 2, 1, 1, 1, 1, 3, 3, 3, 3, 2, 1, 1, 1, 1, 3, 1, 1, 2, 1, 1, 2, 3, 2, 1, 2, 2, 2, 3, 2, 1, 3, 2, 3, 2, 3, 2, 1, 1, 2, 3, 1, 3, 3, 3, 1, 2, 1, 2, 2, 1, 2, 2, 2, 2, 2, 3, 2, 1, 3, 3, 2, 2, 2, 3, 1, 2, 1, 1, 3, 2, 3, 2, 3, 2, 3, 3, 2, 2, 1, 3, 1, 2, 1, 3, 1, 1, 1, 3, 1, 1, 3, 3, 2, 2, 1, 3, 1, 1, 3, 2, 3, 1, 1, 3, 1, 3, 3, 1, 2, 3, 1, 3, 1, 1, 2, 1, 3, 1, 1, 1, 1, 2, 1, 3, 1, 2, 1, 3, 1, 3, 1, 1, 2, 2, 2, 3, 2, 2, 1, 2, 3, 3, 2, 3, 3, 3, 2, 3, 3, 1, 3, 2, 3, 2, 1, 2, 1, 1, 1, 2, 3, 2, 2, 1, 2, 2, 1, 3, 1, 3, 3, 3, 2, 2, 3, 3, 1, 2, 2, 2, 3, 1, 2, 1, 3, 1, 2, 3, 1, 1, 1, 2, 2, 3, 1, 3, 1, 1, 3, 1, 2, 3, 1, 2, 3, 1, 2, 3, 2, 2, 2, 3, 1, 3, 1, 2, 3, 2, 2, 3, 1, 2, 3, 2, 3, 1, 2, 2, 3, 1, 1, 1, 2, 2, 1, 1, 2, 1, 2, 1, 2, 3, 2, 1, 3, 3, 3, 1, 1, 3, 1, 2, 3, 3, 2, 2, 2, 1, 2, 3, 2, 2, 3, 2, 2, 2, 3, 3, 2, 1, 3, 2, 1, 3, 3, 1, 2, 3, 2, 1, 3, 3, 3, 1, 2, 2, 2, 3, 2, 3, 3, 1, 2, 1, 1, 2, 1, 3, 1, 2, 2, 1, 3, 2, 1, 3, 3, 2, 2, 2, 1, 2, 2, 1, 3, 1, 3, 1, 3, 3, 1, 1, 2, 3, 2, 2, 3, 1, 1, 1, 1, 3, 2, 2, 1, 3, 1, 2, 3, 1, 3, 1, 3, 1, 1, 3, 2, 3, 1, 1, 3, 3, 3, 3, 1, 3, 2, 2, 1, 1, 3, 3, 2, 2, 2, 1, 2, 1, 2, 1, 3, 2, 1, 2, 2, 3, 1, 2, 2, 2, 3, 2, 1, 2, 1, 2, 3, 3, 2, 3, 1, 1, 3, 3, 1, 2, 2, 2, 2, 2, 2, 1, 3, 3, 3, 3, 3, 1, 1, 3, 2, 1, 2, 1, 2, 2, 3, 2, 2, 2, 3, 1, 2, 1, 2, 2, 1, 1, 2, 3, 3, 1, 1, 1, 1, 3, 3, 3, 3, 3, 3, 1, 3, 3, 2, 3, 2, 3, 3, 2, 2, 1, 1, 1, 3, 3, 1, 1, 1, 3, 3, 2, 1, 2, 1, 1, 2, 2, 1, 1, 1, 3, 1, 1, 2, 3, 2, 2, 1, 3, 1, 2, 3, 1, 2, 2, 2, 2, 3, 2, 3, 3, 1, 2, 1, 2, 3, 1, 3, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 3, 2, 2, 2, 2, 2, 1, 3, 3, 3]

下图是数据的散点图：
这里写图片描述

归一化后的数据：

[[ 0.44832535  0.39805139  0.56233353]
 [ 0.15873259  0.34195467  0.98724416]
 [ 0.28542943  0.06892523  0.47449629]
 ..., 
 [ 0.29115949  0.50910294  0.51079493]
 [ 0.52711097  0.43665451  0.4290048 ]
 [ 0.47940793  0.3768091   0.78571804]]

测试算法

# coding=utf-8
from numpy import *
import operator # 运算符模块,执行排序操作时将用到
import matplotlib.pyplot as plt

# 建立训训练集和相应的标签
def createDataset():
    # 数组，注意此处是两个中括号
    group=array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    labels=['A','A','B','B']
    return (group,labels)

# 简单分类
def classify0(inX,dataSet,labels,k):
    #shape[0]得到的是矩阵行数，shape[1]得到列数
    dataSetSize=dataSet.shape[0] 
    # tile()得到和dataset相同的维数，进行相减
    diffMat=tile(inX,(dataSetSize,1))-dataSet 
    # 各向量相减后平方
    sqDiffMat = diffMat**2
    # axis=1按行求和，得到了平方和
    sqDistances = sqDiffMat.sum(axis=1)
    # 开根号，求得输入向量和训练集各向量的欧氏距离
    distances = sqDistances**0.5
    # 得到各距离索引值，是升序,即最小距离到最大距离
    sortedDistIndicies = distances.argsort()
    classCount={}  # 定义一个字典
    for i in range(k):
        # 前k个最小距离的标签
        voteIlabel = labels[sortedDistIndicies[i]]     
        # 累计投票数
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1

    # 把分类结果进行排序，然后返回得票数最多的分类结果
    # 其中iteritems()把字典分解为元祖列表，itemgetter(1)按照第二个元素的次序对元祖排序
    sortedClassCount = sorted(classCount.iteritems(), \
                              key=operator.itemgetter(1), reverse=True)
    # 输出分类标签
    #print(sortedClassCount[0][0]) 
    return sortedClassCount[0][0]

# 数据预处理   
def file2matrix(filename):
    '''
     从文件中读入训练数据，并存储为矩阵
    '''
    fr=open(filename,'r')
    # 源代码有错误
    arrayOfLines=fr.readlines()  # 只能读一次
    numberOfLines = len(arrayOfLines) # 得到样本的行数
    returnMat = zeros((numberOfLines,3))  # 得到一个二维矩阵，行数是样本的行数，每行3列
    print('row:%s and column:%s' %(returnMat.shape[0],returnMat.shape[1]))
    classLabelVector = []  # 得到一个一维的数组，存放样本标签
    index = 0
    for line in arrayOfLines:
        #strip() 方法用于移除字符串头尾指定的字符（默认为所有的空字符，包括空格、换行(\n)、制表符(\t)等）
        line = line.strip()  # 把回车符号给去掉
        #对于每一行，按照制表符切割字符串，得到的结果构成一个数组，
        listFromLine = line.split('\t')
        #print(listFromLine[0:4])
        # 把分割好的数据放至数据集,是一个1000*3的数组
        returnMat[index,:] = listFromLine[0:3]       
        classLabelVector.append(int(listFromLine[-1]))
        index += 1
    return ( returnMat,classLabelVector)    
    fr.close()

# 归一化数据
def autoNorm(dataSet):
    # 每列的最小值minvals
    minVals=dataSet.min(0) # 0表示返回每列的最小值
    maxVals=dataSet.max(0)
    ranges=maxVals-minVals
    # 得到dataset相同行列数的0数组
    normDataSet=zeros(shape(dataSet))
    m = dataSet.shape[0] #数组的行数
    # tile复制形如[A,B,C](ABC分别代表每列的最小值)m行
    normDataSet = dataSet - tile(minVals, (m,1)) 
    # 归一化公式,注意是具体特征值相除
    normDataSet = normDataSet/tile(ranges, (m,1))   #element wise divide
    return normDataSet, ranges, minVals

# 分类测试
def datingClassTest():
    hoRatio = 0.10      #hold out 10%
    datingDataMat,datingLabels = file2matrix('C:\Users\LiLong\Desktop\datingTestSet2.txt')
    normMat, ranges, minVals = autoNorm(datingDataMat)
    m = normMat.shape[0]
    # 测试数据的数量
    numTestVecs = int(m*hoRatio)
    print('the test number:',numTestVecs)
    errorCount = 0.0

    for i in range(numTestVecs):
        #normMat[i,:]表示输入的测试集是前100行的数据，normMat[numTestVecs:m,:]表示训练集
        #是100-1000的，datingLabels[numTestVecs:m]表示和训练集是对应的
        classifierResult = classify0(normMat[i,:],normMat[numTestVecs:m,:],\
                                     datingLabels[numTestVecs:m],3)
        print ("the classifier came back with: %d, the real answer is: %d"\
                % (classifierResult, datingLabels[i]))
        if (classifierResult != datingLabels[i]):  errorCount += 1.0
    print "the total error rate is: %f" % (errorCount/float(numTestVecs))
    print  errorCount


# 读的是datingTestSet2.txt，不是datingTestSet.txt
#file_raw='C:\Users\LiLong\Desktop\datingTestSet2.txt'   
if __name__== "__main__": 
    datingClassTest()

结果:

row:1000 and column:3
('the test number:', 100)
the classifier came back with: 3, the real answer is: 3
the classifier came back with: 2, the real answer is: 2
the classifier came back with: 1, the real answer is: 1
the classifier came back with: 1, the real answer is: 1
the classifier came back with: 1, the real answer is: 1
the classifier came back with: 1, the real answer is: 1
the classifier came back with: 1, the real answer is: 1
the classifier came back with: 1, the real answer is: 1
..., 
the classifier came back with: 2, the real answer is: 2
the classifier came back with: 3, the real answer is: 3
the classifier came back with: 2, the real answer is: 2
the classifier came back with: 3, the real answer is: 3
the classifier came back with: 2, the real answer is: 2
the classifier came back with: 1, the real answer is: 1
the classifier came back with: 2, the real answer is: 2
the classifier came back with: 3, the real answer is: 3
the classifier came back with: 1, the real answer is: 1
the classifier came back with: 2, the real answer is: 2
the classifier came back with: 1, the real answer is: 1
the classifier came back with: 2, the real answer is: 2
the classifier came back with: 1, the real answer is: 1
the classifier came back with: 2, the real answer is: 2
the classifier came back with: 1, the real answer is: 1
the classifier came back with: 3, the real answer is: 3
the classifier came back with: 3, the real answer is: 3
the classifier came back with: 2, the real answer is: 2
the classifier came back with: 1, the real answer is: 1
the classifier came back with: 3, the real answer is: 1
the total error rate is: 0.050000
5.0

结果显示错误率5.0%

lilong117194
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python画散点图(Knn中数据)
肥宅Sean
10-15 2216
用之前做的KNN算法的数据画的散点图 我在这就只给出我变化之后main函数了 其实只是用了那个文件流的部分 可以在之前那个版本的knn算法中找到，或者你自己写一个就好了
机器学习实战1.2--KNN之从文本文件中解析数据和将部分数据以散点图的形式展示出来
beautiful77moon的博客
07-17 915
#从文本文件中解析数据 from numpy import * def file2matrix(filename): with open(filename) as file: #求得样例的个数 arrayOLines=file.readlines() numberOfLines=len(arrayOLines) #求KN...
KNN算法及实现
weixin_46601559的博客
04-07 6864
1.实验内容 本实验包括对kNN算法原理的介绍，kNN算法的步骤流程，以及如何自己动手实现kNN算法。 2.实验目标 通过本实验掌握kNN算法的原理，熟悉kNN算法。 3.实验知识点 kNN算法原理 kNN算法流程 4.实验环境 python 3.6.5 CourseGrading在线实验环境 5.预备知识 初等数学知识 Linux命令基本操作 Python编程基础 实验原理 1.kNN算法简介 　　k近邻法(k-nearest neighbor, kNN)是1967年由Cover
【机器学习实战】KNN算法的两个经典例子(电影类型判断，约会网站的改进)
qq_51307413的博客
10-10 3567
KNN算法的两个常用实际例子一、使用K-邻近算法来对电影的类型进行判断1.实验思路：2.代码实现：3.运行截图：4.完整代码展示：二、在约会网站上使用KNN算法1.实验思路及代码实现：（一）准备数据：从文本文件中解析数据（二）分析数据：使用Matplotlib创建散点图（三）准备数据：归一化数值（四）测试算法：作为完整程序验证分类器（五）使用算法：构建完整可用系统 一、使用K-邻近算法来对电影的类型进行判断 1.实验思路： 通过电影场景里面的打斗镜头次数与接吻镜头次数的比较然后根据KNN算法来进行判断该电影
机器学习 —— KNN算法简单入门
HALF愚笨角
10-12 4283
机器学习 —— KNN算法简单入门第1关：手动实现简单kNN算法1 KNN算法简介1.1 kNN 算法的算法流程1.2 kNN 算法的优缺点1.3 编程要求+参数解释2. 代码实现3. 个人总结3.1 numpy库的学习3.1.1 NumPy Ndarray 对象3.2 python基本语法3.3 手写knn待改进第2关：红酒分类1. 基础知识1.1 数据集介绍1.2 StandardScaler的使用1.3 KNeighborsClassifier的使用1.4 编程要求+测试说明2. 代码实现3. 总结3
kNN.rar_knn_knn实现
09-24
在这个“kNN.rar_knn_knn实现”压缩包中，我们可以找到一个作者自己修改过的kNN算法实现。下面将详细介绍kNN的基本原理、应用场景以及实现过程。 一、kNN算法原理 1. 基本概念：kNN算法的核心思想是通过寻找训练...
KNN算法实现.ipynb
11-13
KNN的简单算法实现，课上所学 初学者，算法比较单一，在继续努力 自己记录一下
KNN实现代码
02-27
KNN算法简单易懂，无需模型训练，适用于小规模数据集，但在大数据集上计算量较大。 KNN算法的主要步骤包括以下几个方面： 1. **数据预处理**：首先，我们需要对数据进行预处理，包括缺失值处理、异常值处理、数据...
KNN算法的matlab实现
05-07
在机器学习领域，KNN以其简单易懂和实用性而受到欢迎。本篇将详细介绍KNN算法的原理及其在Matlab环境中的实现。 ### KNN算法基本原理 1. **定义**: KNN算法基于“物以类聚”的思想，通过寻找训练集中与未知类别...
matlab：KNN实现手写数字识别
05-18
本资源实现了KNN算法应用手写数字识别案例，利用KNN算法的简单原理解决如何识别数字。本资源利用数字图片的二值化值作为特征，进行特征提取。通过训练集的二值化特征与测试集的二值化特征的欧式距离，通过排序，选取...
KNN（一）--简单KNN原理及实现
工作笔记
07-21 8310
原文： http://blog.csdn.net/damotiansheng/article/details/40628417 1. Knn算法介绍：         百度百科：http://baike.baidu.com/view/1485833.htm?from_id=3479559&type=syn&fromtitle=knn&fr=aladdin，其内容如下： 邻近算法，或
简单的KNN实现
浪子寒的策略空间
06-01 202
数据集采用阿里巴巴天池项目中的“渔船轨迹数据” 本数据集为h5数据，运行代码目录结构如下 代码如下： import numpy as np import pandas as pd from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler from sklearn.neighbors import KNeighborsClassifier import pickl
KNN算法的实现过程
Cvjark的博客
09-08 1万+
机器学习算法：KNN分类算法 写文章的目的是为了巩固所学，和方便回顾查找。如有讲错的地方，欢迎指出，谢谢。 KNN算法介绍：     KNN，k-NearestNeighborK 又称K最近邻 所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表，是一种分类算法，用于参考已知的数据，对未知实例的类别进行判断 算法流程： 将每个样本视作一个点...
KNN算法原理与简单实现
小猴子的博客
01-25 362
KNN算法原理与简单实现 K最近邻(k-Nearest Neighbor，KNN)分类算法，是最简单的机器学习算法之一，涉及高等数学知识近乎为0，虽然它简单，但效果很好，是入门机器学习的首选算法。但很多教程只是一笔带过，在这里通过该算法，我们可以学习到在机器学习中所涉及的其他知识点和需要注意的地方。 在之前的鸢尾花数据集中，我们只将2种花的150个样本的前2个特征在二维特征空间中表示，如下图 那么当来了一个新的数据(如下图中绿色的点)，我们如何判断它最可能属于哪种花呢 KNN算法原理 我们
KNN算法解析
weixin_38272864的博客
09-23 1755
KNN算法网上的给出的解释很多，源码也很多，有许多写的很好，所以这个仅作个人理解之用。KNN算法简介：KNN算法采用测量不同特征值之间的距离方法进行分类。工作原理： 存在一个样本数据集，即训练数据集，并且样本集中每个样本数据都存在标签，即我们知道样本数据集中每一数据与所属分类的对应关系。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（
《机器学习实战》第二章：k-近邻算法（1）简单KNN
新的开始
05-05 1241
1. CH2-kNN（1） 2. CH2-kNN（2） 3. CH2-kNN（3） 4. CH3-决策树（1） 5. CH3-决策树（2） 6. CH3-决策树（3） 7. CH4-朴素贝叶斯（1） 8. CH4-朴素贝叶斯（2） 9. CH5-Logistic回归（1） 10. CH5-Logistic回归（2） ======== No More======== ...
机器学习（一）——K-近邻（KNN）算法
weixin_30454481的博客
08-04 361
最近在看《机器学习实战》这本书，因为自己本身很想深入的了解机器学习算法，加之想学python，就在朋友的推荐之下选择了这本书进行学习。 一 . K-近邻算法（KNN）概述 最简单最初级的分类器是将全部的训练数据所对应的类别都记录下来，当测试对象的属性和某个训练对象的属性完全匹配时，便可以对其进行分类。但是怎么可能所有测试对象都会找到与之完全匹配的训练对象呢，其次就是存在一...
KNN算法代码实例实现（python）
热门推荐
a1496785的博客
09-12 1万+
本文由本人原创，仅作为自己的学习记录 KNN算法的实现思路是，分别计算未知数据到其他各个数据的欧几里得距离之和（也可以是其他距离），然后进行从小到大排序，排序的列表前K个值中，属于其他数据类别最多的，说明该未知数据类型与这类数据越相似。 下面是实例，假设有零食，包，电器三类商品，商品分别有价格，评价两类属性（数据我事先分别存在三个不同的TXT中，在实际过程中，应该是先对大量数据作处理得到数据）...
knn算法的原理与实现
hellozhxy的博客
07-05 1万+
机器学习基础算法python代码实现可参考：zlxy9892/ml_code1 原理knn 是机器学习领域非常基础的一种算法，可解决分类或者回归问题，如果是刚开始入门学习机器学习，knn是一个非常好的入门选择，它有着便于理解，实现简单的特点，那么下面就开始介绍其算法的原理。首先，knn算法的基本法则是：相同类别的样本之间在特征空间中应当聚集在一起。如下图所示，假设我们现在红、绿、蓝三种颜色的点，分...
基于KNN的数字识别系统代码大全.docx
最新发布
10-19
KNN算法因其简单易用和广泛的应用场景，如文本分类、信息检索等，在机器学习领域中占有重要地位。 KNN算法的实现步骤： 1. 计算新样本与训练集中所有样本的距离。 2. 选择距离最近的K个样本。 3. 根据这K个样本的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值