百面机器学习—1.特征工程

---

插眼：

• 百面机器学习—1.特征工程
• 百面机器学习—2. 特征工程与模型评估要点总结
• 百面机器学习—3.逻辑回归与决策树要点总结
• 百面机器学习—4.SVM模型基础知识
• 百面机器学习—5.SVM要点总结
• 百面机器学习—6.PCA与LDA要点总结
• 百面机器学习—7.K均值算法、EM算法与高斯混合模型要点总结
• 百面机器学习—8.概率图模型之HMM模型
• 百面机器学习—9.前馈神经网络面试问题总结
• 百面机器学习—10.循环神经网络面试问题总结
• 百面机器学习—11.集成学习（GBDT、XGBoost）面试问题总结
• 百面机器学习—12.优化算法

---

引言

  参考：百面机器学习pdf：链接：https://pan.baidu.com/s/1QHWWEXxrOIOQgTycz3YX6Q
提取码：y01g

一、特征归一化

描述
  为了消除数据特征之间的量纲影响，我们需要对特征进行归一化，使得不同指标之间具有可比性，使得各指标处于同一数值量级，以便于分析。
方法：

1. 线性函数归一化（Min-Max），将原始数据映射到[0,1]范围内

   from sklearn.preprocessing import MinMaxScaler
   

2. 零均值归一化（标准化），将原始数据映射到mean=0，std=1的分布上

   from sklearn.preprocessing import StandardScaler
   

为什么需要对数值特征做归一化？
  以随机梯度下降为例，在学习率相同的情况下，经过归一化后的数据容易更快的通过梯度下降找到最优解。

  在实际运用中，通过梯度下降的算法求解的模型都需要归一化，包括线性回归、逻辑回归、支持向量机、神经网络等模型。但对决策树模型并不适用，因为信息增益、信息增益比、基尼指数跟特征是否经过归一化是无关的。

二、类别型特征

描述
  类别特征指在有限选项内取值的特征，通常为字符串形式。除决策树等少数模型可以直接处理字符串形式的输入，对于逻辑回归、支持向量机等模型都需要先将类别型特征直接转换成数值型特征。
在对数据进行预处