以下哪些机器学习算法可以不对特征做归一化处理?
提示:
题目
以下哪些机器学习算法可以不对特征做归一化处理:
随机森林
逻辑回归
SVM
GBDT
二、解题
归一化不是由方法决定的,而是由数据决定的
树模型一般不需要做归一化处理,
做归一化处理的目的主要为了使同一特征的取值在同一量纲,降低方差太大带来的影响。
树模型并不关心特征的具体取值,只关心特征取值的分布。
概率模型不需要归一化,因为它们不关心变量的量纲,而是关心变量的分布和变量之间的条件概率,如决策树,GBDT
GBDT的树是在上一颗树的基础上通过梯度下降求解最优解,归一化能收敛的更快。所以可以不归一化,但收敛变慢
总结
提示:重要经验:
1)概率模型不需要归一化,因为它们不关心变量的量纲,而是关心变量的分布和变量之间的条件概率,如决策树,GBDT
3)笔试求AC,可以不考虑空间复杂度,但是面试既要考虑时间复杂度最优,也要考虑空间复杂度最优。