特征工程及KNN算法

特征工程

特征提取：提取与任务相关的特征

特征预处理方法：特征缩放

1、归一化：将特征缩放到一个特定的范围，通常是[0, 1]。

2、标准化：将特征缩放为均值为0，标准差为1的分布。

特征降维：会影响原始数据

特征选择：不会形象原始数据

特征组合：将相关性大的组合在一起

拟合:模型对样本点的拟合情况

欠拟合：

模型在训练集和测试集表现都差，产生原因是因为模型过于简单。可采取增加特征值解决。

过拟合：

模型在训练集表现好，测试集表现差，产生原因是模型过于复杂而训练数据少。可增加训练数据。

KNN算法

KNN算法用来解决回归、分类问题。

分类问题与回归问题的区别是是否连续。

算法思想K个最相似的样本中的大多数属于一种类型，则该样本也属于此类型。

KNN分类流程：计算每个样本的欧氏距离并根据大小排序，取出最近的K个样本进行多数表决，再对未知样本归属。

KNN回归流程：计算每个样本的欧氏距离并根据大小排序，取出最近的K个样本，计算K个样本的平均值，平均值既是样本值。

注：K不取分类类别的倍数。K值过小会导致过拟合，K值过大会导致欠拟合。

K值验证方法：交叉验证，网格验证。