1.特征工程
- 特征归一化
问:为什么需要对数值类型的特征做归一化?
分析解答:
为了消除数据特征之间的量纲影响,对特征进行归一化处理,使得不同指标之间具有可比性。
常用方法:
(1)线性函数归一化(Min-Max Scaling)对原始数据进行线性变换,使结果映射到【0,1】范围,实现对原始数据的等比缩放。
(2)零均值归一化(Z-Score Normalization)将原始数据映射到均值为0、标准差为1的分布上。
举例梯度下降实例说明归一化的重要性,若两个特征的取值范围不一样,则在学习速率相同的情况下,范围小的特征更新速度会大于取值范围大的特征,需要较多的迭代才能找到最优解。若将两个特征归一化到相同的数值区间,两特征的更新速度变得更为一致,容易更快地通过梯度下降找到最优解。
实际运用中,通过梯度下降法求解的模型通常需要归一化,包括线性回归、逻辑回归、支持向量机、神经网络等。但对决策树不适用。
2.类别型特征
- 类别型特征指在有限选项内取值的特征。
- 类别型特征原始输入通常是字符串形式
- 决策树可以直接处理字符串形式的输入
- 逻辑回归、支持向量机等模型,类别型特征必须经过处理转换成数值型特征才能正确工作。
问题:在对数据进行预处理时,应该怎样处理类别型特征?
知识点:
- 序号编码:用于处理类别间具有大小关系的数据。高3,中2,低1</