KNN

最新推荐文章于 2024-04-02 16:29:00 发布
最新推荐文章于 2024-04-02 16:29:00 发布
阅读量4.7k 收藏 12
点赞数 1
分类专栏： 机器学习及其应用 文章标签： 机器学习 分类 最邻近规则 KNN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36890572/article/details/78406632
版权

一.理论 

1.简介 

1）最邻近规则分类KNN，是Cover和Hart在1968年提出了最初的临近算法； 

2）分类算法 

3）输入基于实例的学习，懒惰学习 

2.例子  


3.算法详述 

1）步骤 为了判别未知实例的类别，以所有已知类别的实例作为参照； 选择参数K 计算未知实例与所有已知实例的距离 选择最近K个已知实例 根据少数服从多数的投票法则，让未知实例归类为K个最邻近样本中最多数的类别 

2）实现细节 关于K（训练之后获得） 关于距离的衡量方法 


 4.算法优缺点 

1）优点 简单、易于理解、容易实现、通过对K的选择可具备丢噪音数据的健壮性

 2）缺点 需要大量空间存储所有已知实例 算法复杂度高 当样本分布不平衡时，新的样本会归类为主导样本，从而不能更好的接近实际分类结果5.改进版本 考虑距离，根据距离加上权重 比如：1/d(d:距离) 

二.实践

1.调用系统自带的KNN模块进行实现

1）代码

from sklearn import neighbors
from sklearn import  datasets
#获取KNN分类器
knn = neighbors.KNeighborsClassifier()
#加载数据
iris = datasets.load_iris()
print(iris)
#建立模型
knn.fit(iris.data,iris.target)
#输入预测模型进行预测
predictedLabel = knn.predict([[0.1,0.2,0.3,0.4]])
#输出预测结果
print(predictedLabel)
2）结果
{'data': array([[ 5.1,  3.5,  1.4,  0.2],
       [ 4.9,  3. ,  1.4,  0.2],
       [ 4.7,  3.2,  1.3,  0.2],
       [ 4.6,  3.1,  1.5,  0.2],
       [ 5. ,  3.6,  1.4,  0.2],
       [ 5.4,  3.9,  1.7,  0.4],
       [ 4.6,  3.4,  1.4,  0.3],
       [ 5. ,  3.4,  1.5,  0.2],
       [ 4.4,  2.9,  1.4,  0.2],
       [ 4.9,  3.1,  1.5,  0.1],
       [ 5.4,  3.7,  1.5,  0.2],
       [ 4.8,  3.4,  1.6,  0.2],
       [ 4.8,  3. ,  1.4,  0.1],
       [ 4.3,  3. ,  1.1,  0.1],
       [ 5.8,  4. ,  1.2,  0.2],
       [ 5.7,  4.4,  1.5,  0.4],
       [ 5.4,  3.9,  1.3,  0.4],
       [ 5.1,  3.5,  1.4,  0.3],
       [ 5.7,  3.8,  1.7,  0.3],
       [ 5.1,  3.8,  1.5,  0.3],
       [ 5.4,  3.4,  1.7,  0.2],
       [ 5.1,  3.7,  1.5,  0.4],
       [ 4.6,  3.6,  1. ,  0.2],
       [ 5.1,  3.3,  1.7,  0.5],
       [ 4.8,  3.4,  1.9,  0.2],
       [ 5. ,  3. ,  1.6,  0.2],
       [ 5. ,  3.4,  1.6,  0.4],
       [ 5.2,  3.5,  1.5,  0.2],
       [ 5.2,  3.4,  1.4,  0.2],
       [ 4.7,  3.2,  1.6,  0.2],
       [ 4.8,  3.1,  1.6,  0.2],
       [ 5.4,  3.4,  1.5,  0.4],
       [ 5.2,  4.1,  1.5,  0.1],
       [ 5.5,  4.2,  1.4,  0.2],
       [ 4.9,  3.1,  1.5,  0.1],
       [ 5. ,  3.2,  1.2,  0.2],
       [ 5.5,  3.5,  1.3,  0.2],
       [ 4.9,  3.1,  1.5,  0.1],
       [ 4.4,  3. ,  1.3,  0.2],
       [ 5.1,  3.4,  1.5,  0.2],
       [ 5. ,  3.5,  1.3,  0.3],
       [ 4.5,  2.3,  1.3,  0.3],
       [ 4.4,  3.2,  1.3,  0.2],
       [ 5. ,  3.5,  1.6,  0.6],
       [ 5.1,  3.8,  1.9,  0.4],
       [ 4.8,  3. ,  1.4,  0.3],
       [ 5.1,  3.8,  1.6,  0.2],
       [ 4.6,  3.2,  1.4,  0.2],
       [ 5.3,  3.7,  1.5,  0.2],
       [ 5. ,  3.3,  1.4,  0.2],
       [ 7. ,  3.2,  4.7,  1.4],
       [ 6.4,  3.2,  4.5,  1.5],
       [ 6.9,  3.1,  4.9,  1.5],
       [ 5.5,  2.3,  4. ,  1.3],
       [ 6.5,  2.8,  4.6,  1.5],
       [ 5.7,  2.8,  4.5,  1.3],
       [ 6.3,  3.3,  4.7,  1.6],
       [ 4.9,  2.4,  3.3,  1. ],
       [ 6.6,  2.9,  4.6,  1.3],
       [ 5.2,  2.7,  3.9,  1.4],
       [ 5. ,  2. ,  3.5,  1. ],
       [ 5.9,  3. ,  4.2,  1.5],
       [ 6. ,  2.2,  4. ,  1. ],
       [ 6.1,  2.9,  4.7,  1.4],
       [ 5.6,  2.9,  3.6,  1.3],
       [ 6.7,  3.1,  4.4,  1.4],
       [ 5.6,  3. ,  4.5,  1.5],
       [ 5.8,  2.7,  4.1,  1. ],
       [ 6.2,  2.2,  4.5,  1.5],
       [ 5.6,  2.5,  3.9,  1.1],
       [ 5.9,  3.2,  4.8,  1.8],
       [ 6.1,  2.8,  4. ,  1.3],
       [ 6.3,  2.5,  4.9,  1.5],
       [ 6.1,  2.8,  4.7,  1.2],
       [ 6.4,  2.9,  4.3,  1.3],
       [ 6.6,  3. ,  4.4,  1.4],
       [ 6.8,  2.8,  4.8,  1.4],
       [ 6.7,  3. ,  5. ,  1.7],
       [ 6. ,  2.9,  4.5,  1.5],
       [ 5.7,  2.6,  3.5,  1. ],
       [ 5.5,  2.4,  3.8,  1.1],
       [ 5.5,  2.4,  3.7,  1. ],
       [ 5.8,  2.7,  3.9,  1.2],
       [ 6. ,  2.7,  5.1,  1.6],
       [ 5.4,  3. ,  4.5,  1.5],
       [ 6. ,  3.4,  4.5,  1.6],
       [ 6.7,  3.1,  4.7,  1.5],
       [ 6.3,  2.3,  4.4,  1.3],
       [ 5.6,  3. ,  4.1,  1.3],
       [ 5.5,  2.5,  4. ,  1.3],
       [ 5.5,  2.6,  4.4,  1.2],
       [ 6.1,  3. ,  4.6,  1.4],
       [ 5.8,  2.6,  4. ,  1.2],
       [ 5. ,  2.3,  3.3,  1. ],
       [ 5.6,  2.7,  4.2,  1.3],
       [ 5.7,  3. ,  4.2,  1.2],
       [ 5.7,  2.9,  4.2,  1.3],
       [ 6.2,  2.9,  4.3,  1.3],
       [ 5.1,  2.5,  3. ,  1.1],
       [ 5.7,  2.8,  4.1,  1.3],
       [ 6.3,  3.3,  6. ,  2.5],
       [ 5.8,  2.7,  5.1,  1.9],
       [ 7.1,  3. ,  5.9,  2.1],
       [ 6.3,  2.9,  5.6,  1.8],
       [ 6.5,  3. ,  5.8,  2.2],
       [ 7.6,  3. ,  6.6,  2.1],
       [ 4.9,  2.5,  4.5,  1.7],
       [ 7.3,  2.9,  6.3,  1.8],
       [ 6.7,  2.5,  5.8,  1.8],
       [ 7.2,  3.6,  6.1,  2.5],
       [ 6.5,  3.2,  5.1,  2. ],
       [ 6.4,  2.7,  5.3,  1.9],
       [ 6.8,  3. ,  5.5,  2.1],
       [ 5.7,  2.5,  5. ,  2. ],
       [ 5.8,  2.8,  5.1,  2.4],
       [ 6.4,  3.2,  5.3,  2.3],
       [ 6.5,  3. ,  5.5,  1.8],
       [ 7.7,  3.8,  6.7,  2.2],
       [ 7.7,  2.6,  6.9,  2.3],
       [ 6. ,  2.2,  5. ,  1.5],
       [ 6.9,  3.2,  5.7,  2.3],
       [ 5.6,  2.8,  4.9,  2. ],
       [ 7.7,  2.8,  6.7,  2. ],
       [ 6.3,  2.7,  4.9,  1.8],
       [ 6.7,  3.3,  5.7,  2.1],
       [ 7.2,  3.2,  6. ,  1.8],
       [ 6.2,  2.8,  4.8,  1.8],
       [ 6.1,  3. ,  4.9,  1.8],
       [ 6.4,  2.8,  5.6,  2.1],
       [ 7.2,  3. ,  5.8,  1.6],
       [ 7.4,  2.8,  6.1,  1.9],
       [ 7.9,  3.8,  6.4,  2. ],
       [ 6.4,  2.8,  5.6,  2.2],
       [ 6.3,  2.8,  5.1,  1.5],
       [ 6.1,  2.6,  5.6,  1.4],
       [ 7.7,  3. ,  6.1,  2.3],
       [ 6.3,  3.4,  5.6,  2.4],
       [ 6.4,  3.1,  5.5,  1.8],
       [ 6. ,  3. ,  4.8,  1.8],
       [ 6.9,  3.1,  5.4,  2.1],
       [ 6.7,  3.1,  5.6,  2.4],
       [ 6.9,  3.1,  5.1,  2.3],
       [ 5.8,  2.7,  5.1,  1.9],
       [ 6.8,  3.2,  5.9,  2.3],
       [ 6.7,  3.3,  5.7,  2.5],
       [ 6.7,  3. ,  5.2,  2.3],
       [ 6.3,  2.5,  5. ,  1.9],
       [ 6.5,  3. ,  5.2,  2. ],
       [ 6.2,  3.4,  5.4,  2.3],
       [ 5.9,  3. ,  5.1,  1.8]]), 'target': array([0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
       0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
       0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
       1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
       1, 1, 1, 1, 1, 1, 1, 1, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2,
       2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2,
       2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2]), 'target_names': array(['setosa', 'versicolor', 'virginica'], 
      dtype='<U10'), 'DESCR': 'Iris Plants Database\n====================\n\nNotes\n-----\nData Set Characteristics:\n    :Number of Instances: 150 (50 in each of three classes)\n    :Number of Attributes: 4 numeric, predictive attributes and the class\n    :Attribute Information:\n        - sepal length in cm\n        - sepal width in cm\n        - petal length in cm\n        - petal width in cm\n        - class:\n                - Iris-Setosa\n                - Iris-Versicolour\n                - Iris-Virginica\n    :Summary Statistics:\n\n    ============== ==== ==== ======= ===== ====================\n                    Min  Max   Mean    SD   Class Correlation\n    ============== ==== ==== ======= ===== ====================\n    sepal length:   4.3  7.9   5.84   0.83    0.7826\n    sepal width:    2.0  4.4   3.05   0.43   -0.4194\n    petal length:   1.0  6.9   3.76   1.76    0.9490  (high!)\n    petal width:    0.1  2.5   1.20  0.76     0.9565  (high!)\n    ============== ==== ==== ======= ===== ====================\n\n    :Missing Attribute Values: None\n    :Class Distribution: 33.3% for each of 3 classes.\n    :Creator: R.A. Fisher\n    :Donor: Michael Marshall (MARSHALL%PLU@io.arc.nasa.gov)\n    :Date: July, 1988\n\nThis is a copy of UCI ML iris datasets.\nhttp://archive.ics.uci.edu/ml/datasets/Iris\n\nThe famous Iris database, first used by Sir R.A Fisher\n\nThis is perhaps the best known database to be found in the\npattern recognition literature.  Fisher\'s paper is a classic in the field and\nis referenced frequently to this day.  (See Duda & Hart, for example.)  The\ndata set contains 3 classes of 50 instances each, where each class refers to a\ntype of iris plant.  One class is linearly separable from the other 2; the\nlatter are NOT linearly separable from each other.\n\nReferences\n----------\n   - Fisher,R.A. "The use of multiple measurements in taxonomic problems"\n     Annual Eugenics, 7, Part II, 179-188 (1936); also in "Contributions to\n     Mathematical Statistics" (John Wiley, NY, 1950).\n   - Duda,R.O., & Hart,P.E. (1973) Pattern Classification and Scene Analysis.\n     (Q327.D83) John Wiley & Sons.  ISBN 0-471-22361-1.  See page 218.\n   - Dasarathy, B.V. (1980) "Nosing Around the Neighborhood: A New System\n     Structure and Classification Rule for Recognition in Partially Exposed\n     Environments".  IEEE Transactions on Pattern Analysis and Machine\n     Intelligence, Vol. PAMI-2, No. 1, 67-71.\n   - Gates, G.W. (1972) "The Reduced Nearest Neighbor Rule".  IEEE Transactions\n     on Information Theory, May 1972, 431-433.\n   - See also: 1988 MLC Proceedings, 54-64.  Cheeseman et al"s AUTOCLASS II\n     conceptual clustering system finds 3 classes in the data.\n   - Many, many more ...\n', 'feature_names': ['sepal length (cm)', 'sepal width (cm)', 'petal length (cm)', 'petal width (cm)']}
[0]

2.KNN自定义实现
1）数据准备（E:\MachineLearning-data\iris.data.txt）
部分数据如下所示：


2）代码
'''
KNN：自定义实现
'''
import csv
import random
import math
import operator
#1.加载数据集
def loadDataset(filename,split,traingSet,testSet):
    with open(filename,"r") as csvfile:
        lines = csv.reader(csvfile)
        #将读入数据转换为列表进行处理
        dataset = list(lines)
        #print(dataset)
        #x取：0-149
        for x in range(len(dataset)-1):
            #y取：0-3
            for y in range(4):
                #将数据浮点化
                dataset[x][y] = float(dataset[x][y])
            #随机函数产生0-1的值，将数据集分为训练集和测试集
            if random.random()<split:
                traingSet.append(dataset[x])
            else:
                testSet.append(dataset[x])


#2.计算最近距离
def euclideanDistance(instance1,instance2,length):
    distance = 0
    for x in range(length):
        distance += pow((instance1[x]-instance2[x]),2)
    return math.sqrt(distance)


#3.获取最近的K个邻居
def getNeighbors(trainingSet,testInstance,k):
    distances = []
    length = len(testInstance)-1
    for x in range(len(trainingSet)):
        dist = euclideanDistance(testInstance,trainingSet[x],length)
        distances.append((trainingSet[x],dist))
    distances.sort(key=operator.itemgetter(1))
    neighbors = []
    for x in range(k):
        neighbors.append(distances[x][0])
        return neighbors
#4.根据返回的邻居，将其分类
def getResponse(neighbors):
    classVotes = {}
    for x in range(len(neighbors)):
        response = neighbors[x][-1]
        if response in classVotes:
            classVotes[response]+=1
        else:
            classVotes[response] = 1
    sortedNotes = sorted(classVotes.items(),key=operator.itemgetter(1),reverse=True)
    return sortedNotes[0][0]


#5.计算准确率
def getAccuracy(testSet,predictions):
    correct = 0
    for x in range(len(testSet)):
        if(testSet[x][-1]==predictions[x]):
            correct+=1
    return (correct/float(len(testSet)))*100.0
#6.主函数
def main():
    trainingSet = []
    testSet = []
    #三分之二为训练集，三分之一为测试集
    split = 0.67
    #加入r代表忽略地址中的特殊符号的影响
    loadDataset(r"E:\MachineLearning-data\iris.data.txt",split,trainingSet,testSet)
    print("Train set:",repr(len(trainingSet)))
    print("Test set:", repr(len(testSet)))
    predictions = []
    k = 3
    for x in range(len(testSet)):
        neighbors = getNeighbors(trainingSet,testSet[x],k)
        result = getResponse(neighbors)
        predictions.append(result)
        print(">predicted="+repr(result)+", actual="+repr(testSet[x][-1]))
    accuracy = getAccuracy(testSet,predictions)
    print("Accuracy:"+repr(accuracy)+"%")
main()
3）结果
Train set: 101
Test set: 48
>predicted='Iris-setosa', actual='Iris-setosa'
>predicted='Iris-setosa', actual='Iris-setosa'
>predicted='Iris-setosa', actual='Iris-setosa'
>predicted='Iris-setosa', actual='Iris-setosa'
>predicted='Iris-setosa', actual='Iris-setosa'
>predicted='Iris-setosa', actual='Iris-setosa'
>predicted='Iris-setosa', actual='Iris-setosa'
>predicted='Iris-setosa', actual='Iris-setosa'
>predicted='Iris-setosa', actual='Iris-setosa'
>predicted='Iris-setosa', actual='Iris-setosa'
>predicted='Iris-setosa', actual='Iris-setosa'
>predicted='Iris-setosa', actual='Iris-setosa'
>predicted='Iris-setosa', actual='Iris-setosa'
>predicted='Iris-setosa', actual='Iris-setosa'
>predicted='Iris-setosa', actual='Iris-setosa'
>predicted='Iris-versicolor', actual='Iris-versicolor'
>predicted='Iris-versicolor', actual='Iris-versicolor'
>predicted='Iris-versicolor', actual='Iris-versicolor'
>predicted='Iris-versicolor', actual='Iris-versicolor'
>predicted='Iris-versicolor', actual='Iris-versicolor'
>predicted='Iris-virginica', actual='Iris-versicolor'
>predicted='Iris-versicolor', actual='Iris-versicolor'
>predicted='Iris-versicolor', actual='Iris-versicolor'
>predicted='Iris-versicolor', actual='Iris-versicolor'
>predicted='Iris-versicolor', actual='Iris-versicolor'
>predicted='Iris-versicolor', actual='Iris-versicolor'
>predicted='Iris-versicolor', actual='Iris-versicolor'
>predicted='Iris-versicolor', actual='Iris-versicolor'
>predicted='Iris-versicolor', actual='Iris-versicolor'
>predicted='Iris-versicolor', actual='Iris-versicolor'
>predicted='Iris-versicolor', actual='Iris-versicolor'
>predicted='Iris-virginica', actual='Iris-virginica'
>predicted='Iris-versicolor', actual='Iris-virginica'
>predicted='Iris-virginica', actual='Iris-virginica'
>predicted='Iris-virginica', actual='Iris-virginica'
>predicted='Iris-virginica', actual='Iris-virginica'
>predicted='Iris-virginica', actual='Iris-virginica'
>predicted='Iris-virginica', actual='Iris-virginica'
>predicted='Iris-virginica', actual='Iris-virginica'
>predicted='Iris-virginica', actual='Iris-virginica'
>predicted='Iris-virginica', actual='Iris-virginica'
>predicted='Iris-virginica', actual='Iris-virginica'
>predicted='Iris-virginica', actual='Iris-virginica'
>predicted='Iris-virginica', actual='Iris-virginica'
>predicted='Iris-virginica', actual='Iris-virginica'
>predicted='Iris-virginica', actual='Iris-virginica'
>predicted='Iris-virginica', actual='Iris-virginica'
>predicted='Iris-virginica', actual='Iris-virginica'
Accuracy:95.83333333333334%


runfile('E:/Python项目/MachineLearning/KNN/KNN02.py', wdir='E:/Python项目/MachineLearning/KNN')
Train set: 102
Test set: 47
>predicted='Iris-setosa', actual='Iris-setosa'
>predicted='Iris-setosa', actual='Iris-setosa'
>predicted='Iris-setosa', actual='Iris-setosa'
>predicted='Iris-setosa', actual='Iris-setosa'
>predicted='Iris-setosa', actual='Iris-setosa'
>predicted='Iris-setosa', actual='Iris-setosa'
>predicted='Iris-setosa', actual='Iris-setosa'
>predicted='Iris-setosa', actual='Iris-setosa'
>predicted='Iris-setosa', actual='Iris-setosa'
>predicted='Iris-setosa', actual='Iris-setosa'
>predicted='Iris-setosa', actual='Iris-setosa'
>predicted='Iris-versicolor', actual='Iris-versicolor'
>predicted='Iris-versicolor', actual='Iris-versicolor'
>predicted='Iris-versicolor', actual='Iris-versicolor'
>predicted='Iris-versicolor', actual='Iris-versicolor'
>predicted='Iris-versicolor', actual='Iris-versicolor'
>predicted='Iris-versicolor', actual='Iris-versicolor'
>predicted='Iris-versicolor', actual='Iris-versicolor'
>predicted='Iris-versicolor', actual='Iris-versicolor'
>predicted='Iris-versicolor', actual='Iris-versicolor'
>predicted='Iris-versicolor', actual='Iris-versicolor'
>predicted='Iris-versicolor', actual='Iris-versicolor'
>predicted='Iris-versicolor', actual='Iris-versicolor'
>predicted='Iris-versicolor', actual='Iris-versicolor'
>predicted='Iris-versicolor', actual='Iris-versicolor'
>predicted='Iris-versicolor', actual='Iris-versicolor'
>predicted='Iris-versicolor', actual='Iris-versicolor'
>predicted='Iris-versicolor', actual='Iris-versicolor'
>predicted='Iris-versicolor', actual='Iris-versicolor'
>predicted='Iris-virginica', actual='Iris-virginica'
>predicted='Iris-virginica', actual='Iris-virginica'
>predicted='Iris-virginica', actual='Iris-virginica'
>predicted='Iris-virginica', actual='Iris-virginica'
>predicted='Iris-virginica', actual='Iris-virginica'
>predicted='Iris-versicolor', actual='Iris-virginica'
>predicted='Iris-virginica', actual='Iris-virginica'
>predicted='Iris-virginica', actual='Iris-virginica'
>predicted='Iris-virginica', actual='Iris-virginica'
>predicted='Iris-virginica', actual='Iris-virginica'
>predicted='Iris-virginica', actual='Iris-virginica'
>predicted='Iris-virginica', actual='Iris-virginica'
>predicted='Iris-versicolor', actual='Iris-virginica'
>predicted='Iris-virginica', actual='Iris-virginica'
>predicted='Iris-virginica', actual='Iris-virginica'
>predicted='Iris-virginica', actual='Iris-virginica'
>predicted='Iris-virginica', actual='Iris-virginica'
>predicted='Iris-virginica', actual='Iris-virginica'
Accuracy:95.74468085106383%

4）总结
在实现中，需要注意细节问题，如代码的书写问题；
 
 
 
 
 
 
 


                

        

        

    




    

      

        

            

              
                
                  星空记忆
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    1
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    12
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                  2
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
knn_KNN分类_

				
			

			

				

					10-03
				

			

		

		

			
				
KNN的四种实现代码与数据，可直接运行....

			
		

	



                

              
                



	

		

			

				
					
基于KNN实现图像分类

				
			

			

				

					01-20
				

			

		

		

			
				
1. KNN
KNN被翻译为最近邻算法，顾名思义，找到最近的k个邻居，在前k个最近样本（k近邻）中选择最近的占比最高的类别作为预测类别。

如上图所示：
五角星（待预测的）要被赋予哪个类，是紫色圆形还是黄色圆形？
1）如果k=3（实线所表示的圆），由于紫色圆形所占比例为2/3，大于黄色圆形所占的比例1/3，那么五角星将被赋予紫色圆形那个类。
2）如果k=5（虚线所表示的圆），由于黄色圆形的比例为3/5大于紫色圆形所占的比例2/5，那么五角星被赋予黄色圆形类。
通过上述这个例子，我们可以简单总结出KNN算法的计算逻辑。
1）给定测试对象，计算它与训练集中每个对象的距离。
2）圈定距离最近的k个训

			
		

	



                


  
              

                


	

		

			

				
					
快速了解KNN算法和代码实现

				
			

			

				

					wjyqc_的博客
				

				

					04-02
					
					1104
					
				

			

		

		

			
				
KNN算法全称是K-Nearest Neighbor，翻译过来是K邻近算法，也可以称为找邻居算法，是机器学习中常用的基础分类算法。KNN是在对测试集进行分类时，首先扫描整个训练集，找到与测试集最相近的K个样本，根据这些样本的类别进行投票，以确定测试集的类别。我们以下图为例：KNN算法要解决的问题就是判断紫色圆圈是绿色三角形类别还是红色正方形类别，并把它归入这两类中的一类。若k=1，则找到离图中紫圆最近的1个样本，这个样本为红色正方形，故紫圆属于红色正方形类别；

			
		

	





	

		

			

				
					
KNN算法原理和代码详解

				
			

			

				

					qq_52310720的博客
				

				

					07-06
					
					994
					
				

			

		

		

			
				
有这样一条河流like that，河流的左边是rich 人家，河流的右边是poor 人家，这时新搬来一家小甲，这个算法是看小甲是有钱人家还是没钱人家。要解决这个问题，那么就可以说立着他最近的几个人家是富人多还是穷人多就可以判别了，K户人家，最近距离就是欧氏距离或者曼哈顿距离，切比雪夫距离。这是欧氏距离，在中学都有学过。advantage: 显而易见的简单以实现，而且对于边界不规则的数据效果较好disadvantage： 只适合小的数据集，数据不平衡就没法用了肯定就难受了，数据必须标准化因为非富有即贫穷没有中

			
		

	



		

			
		



	

		

			

				
					
KNN（最近邻）算法总结

				
			

			

				

					weixin_40405758的博客
				

				

					04-21
					
					2698
					
				

			

		

		

			
				
KNN（最近邻）算法

参考：本文参考选取的案例来自以下：



https://blog.csdn.net/qq_41228463/article/details/84341762

李奇峰 https://blog.csdn.net/mrliqifeng/article/details/82592867

一、定义及原理

knn算法是通过计算两个个体之间的距离及相似性来进行分类，几乎适合于任...

			
		

	





	

		

			

				
					
机器学习——KNN算法

				
			

			

				

					weixin_43853568的博客
				

				

					06-05
					
					193
					
				

			

		

		

			
				
KNN算法原理
认为在空间上距离最接近的样本具有相似的特征属性。即"近朱者赤，近墨者黑"
KNN执行过程

从训练数据中获取与待测样本点最相似的K个样本(距离上最近)
将K个样本的目标属性合并并产生最终的预测值(多数投票)

KNN代码实现
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time    : 2019/6/5 14:48
# @Au...

			
		

	





	

		

			

				
					
KNN多类分类

				
			

			

				

					12-30
				

			

		

		

			
				
KNN的java简单实现多类分类,数据集来自Iris

			
		

	





	

		

			

				
					
机器学习之利用KNN近邻算法预测数据

				
			

			

				

					wylycool的博客
				

				

					07-06
					
					1万+
					
				

			

		

		

			
				
前半部分是简介,  后半部分是案例



KNN近邻算法: 
简单说就是采用测量不同特征值之间的距离方法进行分类（k-Nearest Neighbor，KNN） 
优点: 精度高、对异常值不敏感、无数据输入假定 
缺点：时间复杂度高、空间复杂度高


1、当样本不平衡时，比如一个类的样本容量很大，其他类的样本容量很小，输入一个样本的时候，K个临近值中大多数都是大样本容量的那个类，这时可能就会导致分...

			
		

	





	

		

			

				
					
机器学习之KNN最邻近分类算法

					
热门推荐

				
			

			

				

					pengjunlee的博客
				

				

					09-15
					
					20万+
					
				

			

		

		

			
				
KNN算法简介

KNN（K-Nearest Neighbor）最邻近分类算法是数据挖掘分类（classification）技术中最简单的算法之一，其指导思想是”近朱者赤，近墨者黑“，即由你的邻居来推断出你的类别。



KNN最邻近分类算法的实现原理：为了判断未知样本的类别，以所有已知类别的样本作为参照，计算未知样本与所有已知样本的距离，从中选取与未知样本距离最近的K个已知样本，根据少数服从多数...

			
		

	





	

		

			

				
					
机器学习基础——分类算法之K近邻算法（KNN)、预测facebook签到位置案例

				
			

			

				

					qq_47250064的博客
				

				

					08-12
					
					1314
					
				

			

		

		

			
				
机器学习里面的knn算法，比较细节得分析了一个 kaggle上面的完整案例，包括处理数据、拟合模型和测试模型，计算准确率等。

			
		

	





	

		

			

				
					
数据分析：分类问题和预测--KNN算法

				
			

			

				

					limaning的专栏
				

				

					09-29
					
					5412
					
				

			

		

		

			
				
数据类型可以有：数字，分类变量，二进制，email，微博，用户数据，json，地理位置，传感器数据等。数据定量或者定性的属性值，比如身高，体重，年龄，性别，学科成绩等。

算法简介：

分类（classification）：给定一些属性标签，预测它们的一些属性。比如给定一些学生的初一初二的成绩，预测初三时的成绩。或者给定一些学生以往的成绩，预测其是否能够进入一本线等。（根据以往见过的例子，对新的数...

			
		

	





	

		

			

				
					
c语言的KNN算法实现

				
			

			

				

					09-20
				

			

		

		

			
				
C语言实现的KNN算法，在data文件中导入自己的数据集，在KNN.h中更在自己的K值。array.m中是自己曾经写的一些方便自己的函数，拿在这个算法中将一部分作为套用。

			
		

	





	

		

			

				
					
KNN algorithm

				
			

			

				

					04-24
				

			

		

		

			
				
a short document to describe KNN algorithm, a silde

			
		

	





	

		

			

				
					
python实现KNN算法

				
			

			

				

					qq_43934014的博客
				

				

					10-14
					
					926
					
				

			

		

		

			
				
用python实现KNN算法
算法设计
在使用自带的sklearn实现knn算法时，需要先引入sklearn包中的类，继而再取得knn分类器，使用内置函数调整knn的要素（邻居个数，分类决策规则），，使用fit（）对训练集进行训练，调用knn.predict()去预测新输入的类别，调用knn.score()计算预测的准确率。
在使用原生python实现KNN算法时，首先要解决的问题就是计算输入x与...

			
		

	





	

		

			

				
					
【机器学习】KNN 算法介绍

				
			

			

				

					weixin_44211968的博客
				

				

					12-26
					
					8783
					
				

			

		

		

			
				
本文介绍了机器学习模型：KNN 算法

			
		

	





	

		

			

				
					
最基础的分类算法-KNN

				
			

			

				

					ysl的博客
				

				

					08-05
					
					466
					
				

			

		

		

			
				
1.K近邻算法基础​​​​​​




import numpy as np
import matplotlib.pyplot as plt
from math import sqrt
from collections import Counter

"""输入原始数据"""
raw_data_X=[[3.39,2.33],
            [3.11,1.78],
           ...

			
		

	





	

		

			

				
					
opencv KNN

					
最新发布

				
			

			

				

					04-03
				

			

		

		

			
				
OpenCV中的KNN是指最近邻算法（K-Nearest Neighbors），它是一种常用的分类算法。KNN算法的基本思想是根据样本之间的距离来进行分类，即将未知样本分类为与其最近邻居相同类别的样本。  在OpenCV中，KNN算法可以通过...

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		
评论 2

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值