K近邻算法(KNN)
(最简单易懂的机器学习算法,没有之一)
一、定义
存在一个样本数据集合,也称作为训练样本集,并且样本集中每个数据都存在标签,即我们知道样本集中每一个数据与所属分类的对应关系。输入没有标签的新数据后,将新的数据的每个特征与样本集中数据对应的特征进行比较,然后算法提取与样本最相似数据(最近邻)的分类标签。一般来说,我们只选择样本数据集中前k个最相似的数据,这就是k-近邻算法中k的出处,通常k是不大于20的整数。最后,选择k个最相似数据中出现次数最多的分类,作为新数据的分类。
二、核心思想
一个新数据与训练样本集中的前k个样本最相似,如果这k个样本中的大多数属于某一个类别,那么新数据也属于这个类别。
三、基础公式
四、一般流程
1. 收集数据:可以使用爬虫进行数据的收集,也可以使用第三方提供的免费或收费的数据。一般,数据放在txt文本文件中,按一定的格式进行存储,便于解析及处理。
2. 准备数据(数据归一化):使用Python解析、预处理数据。
在处理不同取值范围的特征值时,常采用的方法是将数值归一化,如将取值范围处理为0到1或者-1到1之间。下面的公式可以将任意取值范围的特征值转化为0到1区间内的值:
newValue = (oldValue - min) / (max - min)
3. 分析数据(数据可视化):可以使用很多方法对数据进行分析,例如使用Matplotlib将数据可视化。
4. 测试算法(验证分类器):计算错误率。
5. 使用算法(构建完整可用系统):错误率在可接受范围内,就可以运行k-近邻算法进行分类。