k近邻算法经典案例_机器学习实例---1.2、k-近邻算法（海伦约会） - 范仁义

一、总结

一句话总结：

核心代码就是直接调用 【简单k-nn】 里面的那个 【classify0方法】，非常简单

也就是说，k-nn在实战中也是【非常非常简单】的，就是【选最近邻的k个】来确定分类

def classify0(inX, dataSet, labels, k):
    #numpy函数shape[0]返回dataSet的行数
    dataSetSize = [0]
    #在列向量方向上重复inX共1次(横向),行向量方向上重复inX共dataSetSize次(纵向)
    diffMat = (inX, (dataSetSize, 1)) - dataSet
    #二维特征相减后平方
    sqDiffMat = diffMat**2
    #sum()所有元素相加,sum(0)列相加,sum(1)行相加
    sqDistances = (axis=1)
    #开方,计算出距离
    distances = sqDistances**
    #返回distances中元素从小到大排序后的索引值
    sortedDistIndices = ()
    #定一个记录类别次数的字典
    classCount = {}
    for i in range(k):
        #取出前k个元素的类别
        voteIlabel = labels[sortedDistIndices[i]]
        #(key,default=None),字典的get()方法,返回指定键的值,如果值不在字典中返回默认值。#计算类别次数
        classCount[voteIlabel] = (voteIlabel,0) + 1
    #python3中用items()替换python2中的iteritems()#key=(1)根据字典的值进行排序#key=(0)根据字典的键进行排序#reverse降序排序字典
    sortedClassCount = sorted((),key=(1),reverse=True)
    #返回次数最多的类别,即所要分类的类别return sortedClassCount[0][0]

1、海伦约会 构建完整可用系统代码(可以看出这个实例的核心) ？

核心代码就是直接调用 【简单k-nn】 里面的那个 【classify0方法】，非常简单

classifierResult = classify0(norminArr, normMat, datingLabels, 3)#返回分类结果

def classifyPerson():
    #输出结果
    resultList = ['讨厌','有些喜欢','非常喜欢']
    #三维特征用户输入
    precentTats = float(input("玩视频游戏所耗时间百分比:"))
    ffMiles = float(input("每年获得的飞行常客里程数:"))
    iceCream = float(input("每周消费的冰激淋公升数:"))
    #打开的文件名
    filename = ""#打开并处理数据
    datingDataMat, datingLabels = file2matrix(filename)
    #训练集归一化
    normMat, ranges, minVals = autoNorm(datingDataMat)
    #生成NumPy数组,测试集
    inArr = ([precentTats, ffMiles, iceCream])
    #测试集归一化
    norminArr = (inArr - minVals) / ranges
    #返回分类结果
    classifierResult = classify0(norminArr, normMat, datingLabels, 3)
    #打印结果print("你可能%s这个人" % (resultList[classifierResult-1]))

2、min-max归一化矩阵代码？

这里是min-max归一化，就【按公式x* =(x-min)/(max-min)来做矩阵运算】就可以了

min-max标准化：x* =(x-min)/(max-min)：【新数据加入，需重新计算max和min】

这里矩阵运算你的话主要就是【平铺tile方法】：normDataSet = dataSet - (minVals, (m, 1))

def autoNorm(dataSet):
    #获得数据的最小值
    minVals = (0)
    maxVals = (0)
    #最大值和最小值的范围
    ranges = maxVals - minVals
    #shape(dataSet)返回dataSet的矩阵行列数
    normDataSet = ((dataSet))
    #返回dataSet的行数
    m = [0]
    #原始值减去最小值
    normDataSet = dataSet - (minVals, (m, 1))
    #除以最大和最小值的差,得到归一化数据
    normDataSet = normDataSet / (ranges, (m, 1))
    #返回归一化数据结果,数据范围,最小值return normDataSet, ranges, minVals

二、、k-近邻算法(海伦约会)

转自： Python3《机器学习实战》学习笔记(一)：k-近邻算法(史诗级干货长文)_Jack-Cui-CSDN博客_python3机器学习实战
https://blog.csdn.net/c406495762/article/details/75172850

k-近邻算法实战之约会网站配对效果判定

上一小结学习了简单的k-近邻算法的实现方法，但是这并不是完整的k-近邻算法流程，k-近邻算法的一般流程：

1. 收集数据：可以使用爬虫进行数据的收集，也可以使用第三方提供的免费或收费的数据。一般来讲，数据放在txt文本文件中，按照一定的格式进行存储，便于解析及处理。
2. 准备数据：使用Python解析、预处理数据。
3. 分析数据：可以使用很多方法对数据进行分析，例如使用Matplotlib将数据可视化。
4. 测试算法：计算错误率。
5. 使用算法：错误率在可接受范围内，就可以运行k-近邻算法进行分类。

已经了解了k-近邻算法的一般流程，下面开始进入实战内容。

## 实战背景

海伦女士一直使用在线约会网站寻找适合自己的约会对象。尽管约会网站会推荐不同的任选，但她并不是喜欢每一个人。经过一番总结，她发现自己交往过的人可以进行如下分类：

海伦收集约会数据已经有了一段时间，她把这些数据存放在文本文件中，每个样本数据占据一行，总共有1000行。

数据下载

海伦收集的样本数据主要包含以下3种特征：

• 每年获得的飞行常客里程数
• 玩视频游戏所消耗时间百分比
• 每周消费的冰淇淋公升数

这里不得不吐槽一句，海伦是个小吃货啊，冰淇淋公斤数都影响自己择偶标准。打开txt文本文件，数据格式如图所示。

## 准备数据：数据解析

在将上述特征数据输入到分类器前，必须将待处理的数据的格式改变为分类器可以接收的格式。分类器接收的数据是什么格式的？从上小结已经知道，要将数据分类两部分，即特征矩阵和对应的分类标签向量。在文件中创建名为file2matrix的函数，以此来处理输入格式问题。 将放到与相同目录下，编写代码如下：

运行上述代码，得到的数据解析结果如图所示。

可以看到，我们已经顺利导入数据，并对数据进行解析，格式化为分类器需要的数据格式。接着我们需要了解数据的真正含义。可以通过友好、直观的图形化的方式观察数据。

## 分析数据：数据可视化

在文件中编写名为showdatas的函数，用来将数据可视化。编写代码如下：

运行上述代码，可以看到可视化结果如图所示。

图 数据可视化结果 [点击查看大图]()

通过数据可以很直观的发现数据的规律，比如以玩游戏所消耗时间占比与每年获得的飞行常客里程数，只考虑这二维的特征信息，给我的感觉就是海伦喜欢有生活质量的男人。为什么这么说呢？每年获得的飞行常客里程数表明，海伦喜欢能享受飞行常客奖励计划的男人，但是不能经常坐飞机，疲于奔波，满世界飞。同时，这个男人也要玩视频游戏，并且占一定时间比例。能到处飞，又能经常玩游戏的男人是什么样的男人？很显然，有生活质量，并且生活悠闲的人。我的分析，仅仅是通过可视化的数据总结的个人看法。我想，每个人的感受应该也是不尽相同。

## 准备数据：数据归一化

表给出了四组样本，如果想要计算样本3和样本4之间的距离，可以使用欧拉公式计算。

| 样本 | 玩游戏所耗时间百分比 | 每年获得的飞行常用里程数 | 每周消费的冰淇淋公升数 | 样本分类 |
| :---------: |:---------? :---------?:---------?
| 1 | 0.8 | 400 | | 1 |
| 2 | 12 | 134000 | 0.9 | 3 |
| 3 | 0 | 20000 | 1.1 | 2 |
| 4 | 67 | 32000 | 0.1 | 2 |

计算方法如图所示。

我们很容易发现，上面方程中数字差值最大的属性对计算结果的影响最大，也就是说，每年获取的飞行常客里程数对于计算结果的影响将远远大于表中其他两个特征-玩视频游戏所耗时间占比和每周消费冰淇淋公斤数的影响。而产生这种现象的唯一原因，仅仅是因为飞行常客里程数远大于其他特征值。但海伦认为这三种特征是同等重要的，因此作为三个等权重的特征之一，飞行常客里程数并不应该如此严重地影响到计算结果。

在处理这种不同取值范围的特征值时，我们通常采用的方法是将数值归一化，如将取值范围处理为０到１或者-１到１之间。下面的公式可以将任意取值范围的特征值转化为０到１区间内的值：

newValue = (oldValue - min) / (max - min)

其中min和max分别是数据集中的最小特征值和最大特征值。虽然改变数值取值范围增加了分类器的复杂度，但为了得到准确结果，我们必须这样做。在文件中编写名为autoNorm的函数，用该函数自动将数据归一化。代码如下：

运行上述代码，得到结果如图所示。

从图的运行结果可以看到，我们已经顺利将数据归一化了，并且求出了数据的取值范围和数据的最小值，这两个值是在分类的时候需要用到的，直接先求解出来，也算是对数据预处理了。

## 测试算法：验证分类器

机器学习算法一个很重要的工作就是评估算法的正确率，通常我们只提供已有数据的90%作为训练样本来训练分类器，而使用其余的10%数据去测试分类器，检测分类器的正确率。需要注意的是，10%的测试数据应该是随机选择的，由于海伦提供的数据并没有按照特定目的来排序，所以我么你可以随意选择10%数据而不影响其随机性。

为了测试分类器效果，在文件中创建函数datingClassTest，编写代码如下：

运行上述代码，得到结果如图所示。

从图验证分类器结果中可以看出，错误率是3%，这是一个想当不错的结果。我们可以改变函数datingClassTest内变量hoRatio和分类器k的值，检测错误率是否随着变量值的变化而增加。依赖于分类算法、数据集和程序设置，分类器的输出结果可能有很大的不同。

## 使用算法：构建完整可用系统

我们可以给海伦一个小段程序，通过该程序海伦会在约会网站上找到某个人并输入他的信息。程序会给出她对男方喜欢程度的预测值。

在文件中创建函数classifyPerson，代码如下：

在cmd中，运行程序，并输入数据(12,44000,)，预测结果是"你可能有些喜欢这个人"，也就是这个人魅力一般。一共有三个档次：讨厌、有些喜欢、非常喜欢，对应着不喜欢的人、魅力一般的人、极具魅力的人。结果如图所示。

图 预测结果