机器学习 需要和不需要做特征归一化的情况总结

需要做特征归一化的情况总结

1、有关距离计算时，比如K-means、KNN、PCA、SVM等，归一化可以让样本间cos disitace 或者inner dot 结果的差异增大

2、当损失函数有正则项时，当某些特征比较大的时候，权重会比较小。正则化对权重的限制就不明显了。

3、使用梯度下降算法时，如LR，神经网络。加快收敛，缓解过拟合等

4、针对一些神经网络，防止特定的激活函数进入饱和区。

 

不需要做特征归一化的情况总结

1、与距离计算无关的概率模型，eg,Naive Bayes；

2、与距离计算无关的基于树的模型，eg.决策树、随机森林