机器学习-机器学习常见算法时间复杂度

有了算法复杂度的估计，才有了整个算法更好的优化头绪和方向。

1. KNN

时间复杂度o(n*k)：n为样本数量，k为单个样本特征的维度。如果不考虑特征维度的粒度为o(n)

空间复杂度o(n*k)：n为样本数量，k为单个样本特征的维度。如果不考虑特征维度的粒度为o(n)

参考：

https://blog.csdn.net/saltriver/article/details/52502253

 

2 决策树 / 随机森林 

时间复杂度O(N*M*D)：

O(N*M*D), N是sample的大小，M是feature的数量，D是树的深度。cart生长时，把所有feature内的值都作为分裂候选，并为其计算一个评价指标（信息增益、增益比率、gini系数等），所以每层是O(N*M)，D层的树就是O(N*M*D)

空间复杂度o(N + M * Split * TreeNum )：N为样本数量，M为特征数量，Split为平均每个特征的切分点数量，TreeNum为如果为随机森林，随机森林的数目数量

参考：

https://www.zhihu.com/question/44205429/answer/123347092
 

3 梯度下降

时间复杂度：

梯度下降：时间复杂度o(n*C*I)，n代表样本数量（n = 1为随机梯度下降，n = mini-batchsize为mini-batch梯度下降），C代表单个样本计算量（取决于梯度计算公式），I为迭代次数，取决于收敛速度。

空间复杂度：

逻辑或线性回归
o(n*k + k): k为特征维度，n为样本数量

深度学习

o(n*k1 + sum(kn)): n*k1为所有样本数据量k1为dl模型的第一层维度，sum(kn)为整体的参数数量（可以计算或者通过框架直接打印出来）。

优化：

前提：满足一定的准确度，能收敛

1 减少n，为随机梯度下降，但是会影响I

2 减少I，例如采用牛顿法等，但是会影响C

3 减少C，例如BFGS或adam等，但是会影响I

所以整体是一个多因素影响的计算，以最终全体的计算量最小同时保证算法收敛

参考：

http://anson.ucdavis.edu/~minjay/SGD.pdf

4 牛顿法时间复杂度