认知实习day02

一，特征工程
1.概念：利用专业背景知识和技巧处理数据，让机器学习算法效果更好的过程
2.内容：特征提取，特征预处理，特征降维，特征选择，特征组合
二，模型拟合问题
1.拟合：在机器学习领域上用来表现模型对样本点的拟合情况
2.欠拟合：
模型在训练集和测试集上表现都差

产生原因：模型过于简单

3.过拟合：
模型在训练集上表现好，在测试集上表现差

产生原因：模型太复杂，数据不纯，训练数据太少

4.泛化：
模型在非训练数据上的表现好坏的能力

二.算法

1.KNN概念
   K-近邻算法（K Nearest Neighbor，简称KNN），如果一个样本在特征空间中的k个最相似的样本中的大多数属于某一个类别，则该样本也属于这个类别。

注：空间中两个样本的距离通过欧式距离来度量的。

2.KNN处理分类问题
（1）处理分类问题流程

   a.计算未知样本到每一个训练样本的距离；

   b.将训练样本根据距离大小从小到大依次排列；

   c.取出距离最近的K个训练样本；

   d.进行多数表决，统计K个样本中哪个类别的样本个数最多；

   e.将未知样本归属于出现次数最多的类别。

（2）KNN算法API实现

3.KNN处理回归问题
 （1）处理回归问题流程

    a.计算未知样本到每一个训练样本的距离；

    b.将训练样本根据距离从小到大进行排列；

    c.取出距离最近的K个训练样本；

    d.把这K个样本的目标值计算其平均值；

    e.将未知的样本预测为这个平均值。

（2）KNN算法API实现

4.K值的选择 
（1）K值过小：过拟合

     用较小领域中的训练实例进行预测，K值的减小就意味着整体模型变得复杂，容易发生过拟合； 容易受到异常点的影响。

（2）K值过大：欠拟合

    用较大的领域中的训练实例进行预测，K值的增大就意味着整体模型变得简单，容易发生欠拟合；容易受到样本均衡的影响。

（3）对K超参数进行调优

   采用交叉验证，网格搜索等方法。