特征工程
特征工程包括:特征提取,特征预处理,特征降维,特征选择,特征组合
特征提取:
提取和任务相关的特征
特征预处理:
特征对模型产生影响;因量纲问题,有些特征影响大有些影响小
特征降维:
将原始数据维度降低;会对原始数据产生影响
特征选择:
不会改变原始数据
特征组合:
把多个特征合并成一个,用加法和乘法完成
拟合问题:
拟合:模型对样本的拟合情况
欠拟合:一般是因为模型过于简单,一般在训练集和测试集表现都很差
过拟合:一般是模型过于复杂,数据不纯,训练数据太少,一般在训练集表现很好但在测试集表现很差
KNN:
1.欧氏距离:
空间上的直线距离
2.KNN算法介绍
KNN 算法,或者称 k最邻近算法,是 有监督学习 中的 分类算法 。它可以用于分类或回归问题,但它通常用作分类算法。
3.KNN核心思想
KNN 的全称是 K Nearest Neighbors,意思是 K 个最近的邻居。该算法用 K 个最近邻来干什么呢?其实,KNN 的原理就是:当预测一个新样本的类别时,根据它距离最近的 K 个样本点是什么类别来判断该新样本属于哪个类别(多数投票)。
K值的变化:
K值过小:过拟合
K值过大:欠拟合