Day2:特征工程，模型拟合，KNN简介和算法介绍

一，特征工程

1.概念：利用专业背景知识和技巧处理数据，让机器学习算法效果更好的过程

2.内容：特征提取，特征预处理，特征降维，特征选择，特征组合

二，模型拟合问题

1.拟合：在机器学习领域上用来表现模型对样本点的拟合情况

2.欠拟合：

模型在训练集和测试集上表现都差

产生原因：模型过于简单

3.过拟合：

模型在训练集上表现好，在测试集上表现差

产生原因：模型太复杂，数据不纯，训练数据太少

4.泛化：

模型在非训练数据上的表现好坏的能力

KNN算法

一，KNN算法简介

1.思想：

即根据周围环境判断自身（样本相似性）

2.距离度量

空间中两个样本的距离通过欧氏距离（勾股定理）来度量的

3.分类，回归问题

算法思想：周围空间大多属于一个类别，那它自身也属于这个类别（最近的k个）

k值：过大，欠拟合，容易受到异常点的影响；过小，过拟合，受到样本均衡的影响。

分类流程：（1）计算距离

                  （2）升序排列

                  （3）取最近的k个

                  （4）取最多值或者平均值

                  （5）预测未知样本

二，KNN算法API介绍

分类问题（标签值是离散的，统计时取最多值）

回归问题（标签值是分散的，统计时取平均值）