K近邻算法
- K近邻模型解决的问题:二分类、多分类、回归。
- K近邻模型适用条件:非线性可分,局部信息,用完后需要训练集数据 存储方法影响结果。没有很强的假设。
-
K近邻算法的模型复杂度体现在哪?什么情况下会造成过拟合?
模型复杂度体现在K值上
K值比较小的时候容易造成过拟合
K值比较大的时候容易造成欠拟合。
1.什么是K近邻,三要素 距离度量、K值选择、分类决策规则
2.策略:损失函数
3.求解算法
1.什么是K近邻,三要素 (距离度量、K值选择、分类决策规则)
附近的K个点是什么,那被预测的点就是什么。
模型 K近邻方法是没有显示模型形式的。
邻域里是什么,被预测值就是什么。
1.1距离度量
度量一般分三种
P=1,P=2,P=无穷 P=2就是欧式距离.
那么其他两种存在的意义是什么?
1.2 K值选择
应该怎么选?
交叉验证 分训练集-验证集 验证集(真实类别)中选不同K值,对比后确定K值。
1.3分类决策规则
多数表决
找损失最小
2.策略:损失函数
3.求解算法:kd树
存储数据的方法影响预测结果。