机器学习之K近邻算法(KNN)

K近邻算法(KNN)

最简单易懂的机器学习算法,没有之

一、定义

    存在一个样本数据集合,也称作为训练样本集,并且样本集中每个数据都存在标签,即我们知道样本集中每一个数据与所属分类的对应关系。输入没有标签的新数据后,将新的数据的每个特征与样本集中数据对应的特征进行比较,然后算法提取与样本最相似数据(最近邻)的分类标签。一般来说,我们只选择样本数据集中k个最相似的数据,这就是k-近邻算法中k的出处,通常k是不大于20的整数。最后,选择k个最相似数据中出现次数最多的分类,作为新数据的分类。

二、核心思想

        一个新数据与训练样本集中的前k个样本最相似,如果这k个样本中的大多数属于某一个类别,那么新数据也属于这个类别。

三、基础公式


四、一般流程

1. 收集数据:可以使用爬虫进行数据的收集,也可以使用第三方提供的免费或收费的数据。一般,数据放在txt文本文件中,按一定的格式进行存储,便于解析及处理。

2. 准备数据(数据归一化)使用Python解析、预处理数据。

在处理不同取值范围的特征值时,常采用的方法是将数值归一化,如将取值范围处理为01或者-11之间。下面的公式可以将任意取值范围的特征值转化为0到1区间内的值:

newValue = (oldValue - min) / (max - min)

3. 分析数据(数据可视化)可以使用很多方法对数据进行分析,例如使用Matplotlib将数据可视化。

4. 测试算法(验证分类器)计算错误率。

5. 使用算法(构建完整可用系统)错误率在可接受范围内,就可以运行k-近邻算法进行分类。





阅读更多
版权声明: https://blog.csdn.net/hhq2lcl/article/details/79969313
文章标签: 机器学习
个人分类: 机器学习
上一篇Python基础(一)之 list、tuple、set和dict比较(list篇)
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭
关闭