机器学习-机器学习常见算法时间复杂度

有了算法复杂度的估计，才有了整个算法更好的优化头绪和方向。

1. KNN

时间复杂度o(n*k)：n为样本数量，k为单个样本特征的维度。如果不考虑特征维度的粒度为o(n)

空间复杂度o(n*k)：n为样本数量，k为单个样本特征的维度。如果不考虑特征维度的粒度为o(n)

参考：

https://blog.csdn.net/saltriver/article/details/52502253

 

2 决策树 / 随机森林 

时间复杂度O(N*M*D)：

O(N*M*D), N是sample的大小，M是feature的数量，D是树的深度。cart生长时，把所有feature内的值都作为分裂候选，并为其计算一个评价指标（信息增益、增益比率、gini系数等），所以每层是O(N*M)，D层的树就是O(N*M*D)

空间复杂度o(N + M * Split * TreeNum )：N为样本数量，M为特征数量，Split为平均每个特征的切分点数量，TreeNum为如果为随机森林，随机森林的数目数量

参考：

https://www.zhihu.com/question/44205429/answer/123347092
 

3 梯度下降

时间复杂度：

梯度下降：时间复杂度o(n*C*I)，n代表样本数量（n = 1为随机梯度下降，n = mini-batchsize为mini-batch梯度下降&