数据挖掘十大算法---KNN

KNN就是 通过计算测试样本与已经标注好的每个已知样本的距离,获取前K个距离最近的“邻居”样本,通过简单投票法或者加权投票法对所有“邻居”的类别统计,返回计数最多的类别为测试样本的类别。

KNN算法本身是比较简单的!其实机器学习的难点在于:

1、数学建模:就是把原始资料的特征转换为计算机可以识别的向量的过程

2、选取适合数据的模型

KNN算法的缺点:

1、训练样本不平衡容易导致结果错误

     某类别样本数目较大,其他类别较小,导致测试样本的类别更偏向于已知样本类别数目多的类别

改善方法:采用加权投票法

2、计算量较大

     每个测试样本都要和每个标记好的已知样本进行距离计算

改善方法:事先对已知样本进行筛选。

 

一下是一个简答的实现:

import numpy as np
import operator

def createDataSet():
    group = np.array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    labels = ['A','A','B','B']
    return group, labels

def classify(test, dataSet,labels, k):
    dataSetSize = dataSet.shape[0]   # 获取数据集有多少个样本
    distance = np.tile(test, (dataSetSize,1)) - dataSet   #  将test复制扩充为dataSet的大小,每一行分别与每个样本相减
    distance = distance ** 2   # 取平方,去负值
    distance = (distance.sum(axis=1)) ** 0.5    # 每一行的元素求和后开平方,以上等价于计算欧氏距离
    sortedDistIndex = distance.argsort()    # 返回数组从大到小排序的元素索引值
    classLabels = {}        # 用于记录三个邻居的标签情况

    for i in range(k):
        label = labels[sortedDistIndex[i]]
        if label not in classLabels.keys():
            classLabels[label] = 0
        classLabels[label] += 1
    return sorted(classLabels.items(), key=operator.itemgetter(1), reverse=True)[0][0]

dataSet, labels = createDataSet()
print(classify([0,0], dataSet, labels, 3))

 

 

 

 

发布了12 篇原创文章 · 获赞 0 · 访问量 269
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览