百面机器学习总结笔记（第一章 特征工程）

百面机器学习总结笔记

第一章 特征工程

第1节 特征归一化

场景描述
为了消除数据特征之间的量纲影响 ，我们需要对特征进行归一化处理( Normalization) ，使得不同指标之间具有可比性。

知识点

问题： 为什么需要对数值类型的特征做归一化?

分析与解答
对数值类型的特征做归一化可以将所有的特征都统一到一个大致相同的数值区间内。 最常用的方法主要再以下两种：
( 1 )线性函数归化( Min-Max Scaling ) 。 它对原始数据进行线性变换，使结果映射到 [0,1] 的范围，实现对原始数据的等比缩放。归一化公式如下：

( 2 )零均值归一化( Z-Score Normalization ) 。它会将原始数j居映射到均值为 0 ，标准差为 1 的分布上 。那么归一化公式定义为：
实例说明

注意：当然，数据归一化并不是万能的。在实际应用中，通过梯度下降法求解的模型通常是需要归一化的。包括：线性回归、逻辑回归、支持向量机、 神经网络等模型。但对于决策树模型则并不适用 ，以 C4.5 为例 ，决策树在进行节点分裂时主要依据数据集 D 关于特征 x的信息增益比，而信息增益比跟特征是否经过归一化是无关的，因为归一化并不会改变样本在特征 x 上的信息增益。

第2节 类别型特征

场景描述
类别型特征(Categorical Feature)主要是指性别(男、女