学习笔记 DAY2

特征工程

特征工程包括：特征提取，特征预处理，特征降维，特征选择，特征组合

特征提取：

提取和任务相关的特征

特征预处理：

特征对模型产生影响；因量纲问题，有些特征影响大有些影响小

特征降维：

将原始数据维度降低；会对原始数据产生影响

特征选择：

不会改变原始数据

特征组合：

把多个特征合并成一个，用加法和乘法完成

拟合问题：

拟合：模型对样本的拟合情况

欠拟合：一般是因为模型过于简单，一般在训练集和测试集表现都很差

过拟合：一般是模型过于复杂，数据不纯，训练数据太少，一般在训练集表现很好但在测试集表现很差

KNN：

1.欧氏距离：

空间上的直线距离

2.KNN算法介绍
        KNN 算法，或者称 k最邻近算法，是 有监督学习 中的 分类算法 。它可以用于分类或回归问题，但它通常用作分类算法。

3.KNN核心思想
        KNN 的全称是 K Nearest Neighbors，意思是 K 个最近的邻居。该算法用 K 个最近邻来干什么呢？其实，KNN 的原理就是：当预测一个新样本的类别时，根据它距离最近的 K 个样本点是什么类别来判断该新样本属于哪个类别（多数投票）。

K值的变化：

K值过小：过拟合

K值过大：欠拟合