机器学习入门训练2-KNN的实现

KNN的简单实现

1.最近邻，这里的neighbor是用距离来衡量的，常用的距离是欧几里得距离。

def euclideanDistance(instance1, instance2, length):
    distance = 0
    for x in range(length):
        distance += pow((instance1[x] - instance2[x]), 2)
    return math.sqrt(distance)

2.定义了距离计算方法再把点都计算一遍，其中每个点的距离组合成了一个数组。按照大小排好序，保留近的舍弃远的。这里引入了超参数k，也就是取排序出来的点的第k个前的。

def getNeighbors(trainingSet, testInstance, k):
    distances = []
    length = len(testInstance) - 1
    for x in range(len(trainingSet)):
        dist = euclideanDistance(testInstance, trainingSet[x], length)
        distances.append((trainingSet[x], dist))
    distances.sort(key=operator.itemgetter(1))
    neighbors = []
    for x in range(k):
        neighbors.append(distances[x][0])
    return neighbors

3.在这些圈出来的neighobor里面投票，少数服从多数的label。
也就是第二层过滤，第一层筛掉远的，第二层筛掉没话语权的。

def getResponse(neighbors):
    classVotes = {}
    for x in range(len(neighbors)):
        response = neighbors[x][-1]
        if response in classVotes:
            classVotes[response] += 1
        else:
            classVotes[response] = 1
    sortedVotes = sorted(classVotes.items(),
                         key=operator.itemgetter(1),
                         reverse=True)
    return sortedVotes[0][0]

4.计算究竟机器判断对了多少特征，暴力核对，准确度是正确个数占样本总数百分比。

def getAccuracy(testSet, predictions):
    correct = 0
    for x in range(len(testSet)):
        if testSet[x][-1] == predictions[x]:
            correct += 1
    return (correct / float(len(testSet))) * 100.0