一,特征工程
1.概念:利用专业背景知识和技巧处理数据,让机器学习算法效果更好的过程
2.内容:特征提取,特征预处理,特征降维,特征选择,特征组合
二,模型拟合问题
1.拟合:在机器学习领域上用来表现模型对样本点的拟合情况
2.欠拟合:
模型在训练集和测试集上表现都差
产生原因:模型过于简单
3.过拟合:
模型在训练集上表现好,在测试集上表现差
产生原因:模型太复杂,数据不纯,训练数据太少
4.泛化:
模型在非训练数据上的表现好坏的能力
二.算法
1.KNN概念
K-近邻算法(K Nearest Neighbor,简称KNN),如果一个样本在特征空间中的k个最相似的样本中的大多数属于某一个类别,则该样本也属于这个类别。
注:空间中两个样本的距离通过欧式距离来度量的。
2.KNN处理分类问题
(1)处理分类问题流程
a.计算未知样本到每一个训练样本的距离;
b.将训练样本根据距离大小从小到大依次排列;
c.取出距离最近的K个训练样本;
d.进行多数表决,统计K个样本中哪个类别的样本个数最多;
e.将未知样本归属于出现次数最多的类别。
(2)KNN算法API实现
3.KNN处理回归问题
(1)处理回归问题流程
a.计算未知样本到每一个训练样本的距离;
b.将训练样本根据距离从小到大进行排列;
c.取出距离最近的K个训练样本;
d.把这K个样本的目标值计算其平均值;
e.将未知的样本预测为这个平均值。
(2)KNN算法API实现
4.K值的选择
(1)K值过小:过拟合
用较小领域中的训练实例进行预测,K值的减小就意味着整体模型变得复杂,容易发生过拟合; 容易受到异常点的影响。
(2)K值过大:欠拟合
用较大的领域中的训练实例进行预测,K值的增大就意味着整体模型变得简单,容易发生欠拟合;容易受到样本均衡的影响。
(3)对K超参数进行调优
采用交叉验证,网格搜索等方法。