K邻近算法（2） 测试分类器 from机器学习

接上一段，测试分类器

栗子：改进约会网站的配对效果
数据集如下图
样本包含以下三个特征：每年飞行里程数、玩游戏耗时百分比、每周吃的冰淇淋数
最后一列参数：1=不喜欢2=凑乎3=喜欢的人
利用python强大的文件处理能力，读取文件切片

'''
函数用来读取文本并切片
k临近算法改进约会网站配对效果
'''


def getfile(filename):
    fr = open(filename)
    arrayOlines = fr.readlines()
    # 按行读入 并获取文件行数
    inY = len(arrayOlines)

    # 创建一个矩阵,我们一行有3个特征，和一个结果,因此三列就ok了
    returnMat = np.zeros((inY, 3))
    classLabelVector = []
    index = 0
    for line in arrayOlines:
        # 去除回车？
        line = line.strip()
        listfromline = line.split('\t')

        returnMat[index, 0:3] = listfromline[0:3]
        classLabelVector.append(listfromline[-1])
        index += 1

    return returnMat, classLabelVector

返回了数据集矩阵、标签列表
测试如下：然后利用matplotlib作图，获得一个直观的结果
咸鱼看了一上午的matplotlib（可以翻我上上篇博文）emmm这一段还算顺利
代码如下：

>>> fig =plt.figure()
>>> ax =fig.add_subplot(111)
>>> ax.scatter(returnMat[:,0],returnMat[:,1],15*np.array(classLabelVector),15*np.array(classLabelVector))
<matplotlib.collections.PathCollection object at 0x0000026C04EBF080>
>>> plt.show()

选择的是x轴是飞行公里数，y轴是玩游戏耗费时间百分比
这样处理应该是比较生动形象的

归一化处理

实际上，我们把数据点放在同一张图上，（因为x/y的坐标不同）客观上也是进行了归一化处理。
因为数字大的值，会对结果影响更大，eg:1000和900数值差10%，计算平方和差了10000，而同样差距为10%，1和0.9 平方和差0.01
如果我们把所有的特征值看做是等价的，就需要归一化处理

归一化处理就很简单
x0 = (x0-xmin)/(xmax -xmin)

'''
归一化处理
这个操作很简单的啦
'''
def autoNorm(dataSet):
    minval =dataSet.min(0)
    maxval =dataSet.max(0)
    ranges =maxval -minval