ITzym的博客

算法原理 KNN即K-Nearest Neighbor，采用测量不同特征值之间的距离方法进行分类，其主要思想是，如果一个样本在特征空间中的k个最近邻的样本中的大多数都属于某一类别，则该样本也属于这个类别，k通常是不大于20的整数。 算法描述 1) 初始化距离为最大值 2) 计算未知样本和每个训练样本的距离dist 3) 得到目前K个最近邻样本中的最大距离maxdist 4) 如果d

先介绍两个距离公式，欧式距离和夹角余弦。 欧式距离： 欧式距离是最易理解的一种距离计算方法，源自欧式空间中两点间的距离公式（如图1.9）。目的是计算其间的整体距离即不相似性，距离越近就越相似。 夹角余弦： 几何中夹角余弦可用来衡量两个向量方向的差异，机器学习中借用这一概念来衡量样本向量之间的差异（如图1.10）。 夹角余弦取值范围 [ -1，1]。夹角余弦越大表示两个向量的夹角越小，夹

训练模型 定义模型：根据具体要解决的问题； 定义损失函数：预测的结果与真实的结果之间的偏差最小的函数； 优化算法：损失函数取极小值。 模型评估 - 交叉验证 - 效果评估