2.时间复杂度分析法则

1.加法法则

如果:
T1(n) = O(f(n))
T2(n) = O(g(n))
那么:
T(n) = max(T1(n),T2(n)) = max(O(f(n),O(g(n))) = O(max(f(n),g(n)))
例如:
T(n) = O(n2) + O(n) + O(1) = O(max(n2,n,1)) = O(n2)
如果:
T1(n) = O(1)
T2(n) = O(n)
T3(n) = O(m)
m和n的大小不确定,则
时间复杂度:T(n) = O(m+n)

2.乘法法则

如果:
T1(n) = O(f(n))
T2(n) = O(g(n))
那么:
T(n) = T1(n)*T2(n) = O(f(n))*O(g(n)) = O(f(n) *g(n))
例如:T(n) = O(n) * O(n) = O(n^2)

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
BCD(Block Coordinate Descent)和ADMM(Alternating Direction Method of Multipliers)都是常用的优化算法,它们在很多领域都有广泛的应用。它们的本质都是求解一个带有约束条件的最优化问题,但是它们的思路和方法却有所不同。BCD算法是一种迭代算法,每次迭代只更新一个变量,而ADMM算法则是同时更新所有变量。本文将从两种算法的联系入手,探讨它们的异同以及时间复杂度的分析。 一、BCD和ADMM的联系 BCD和ADMM都是一类迭代算法,它们的思路都是将原始问题转化为一系列的子问题,然后通过迭代求解这些子问题来逼近最优解。但是,它们的具体实现方式却有所不同。BCD算法是一种顺序迭代算法,每次只更新一个变量,而ADMM算法则是同时更新所有变量。 我们可以将BCD算法看作是ADMM算法的一种特殊情况,也就是每次只更新一个变量的情况。具体地,我们可以将带有约束条件的最优化问题表示为: $$\min_{x} f(x)$$ $$s.t.\ g(x) = 0$$ 其中,$f(x)$是目标函数,$g(x)$是约束条件。那么,BCD算法的迭代公式可以表示为: $$x_i^{k+1} = \arg\min_{x_i} f(x_1^k,x_2^k,\cdots,x_{i-1}^k,x_i,x_{i+1}^k,\cdots,x_n^k)$$ 其中,$i=1,2,\cdots,n$,$k$表示迭代次数。也就是说,BCD算法每次只更新一个变量,其他变量保持不变。 而ADMM算法则是同时更新所有变量。具体地,我们可以将带有约束条件的最优化问题表示为: $$\min_{x} f(x)$$ $$s.t.\ Ax - b = 0$$ 其中,$f(x)$是目标函数,$Ax-b=0$是线性等式约束条件。那么,ADMM算法的迭代公式可以表示为: $$\begin{aligned} x^{k+1} &= \arg\min_{x} f(x) + \frac{\rho}{2}||Ax - b + \lambda^k||_2^2 \\ \lambda^{k+1} &= \lambda^k + Ax^{k+1} - b \end{aligned}$$ 其中,$\rho$是一个正则化参数,$\lambda$是一个拉格朗日乘子。可以看出,ADMM算法每次都会同时更新所有变量。 二、BCD和ADMM的时间复杂度分析 BCD算法和ADMM算法时间复杂度分析都比较复杂,这里我们只简单介绍一下它们的复杂度。 首先,我们来看BCD算法时间复杂度。BCD算法每次迭代只更新一个变量,因此,它的时间复杂度为$O(n)$。但是,BCD算法的收敛速度比较慢,因此,通常需要进行多次迭代才能得到最优解。 接下来,我们来看ADMM算法时间复杂度。ADMM算法每次迭代都需要同时更新所有变量,因此,它的时间复杂度为$O(n^3)$。但是,ADMM算法的收敛速度比较快,通常可以在较少的迭代次数内得到最优解。因此,ADMM算法在实际应用中更为常用。 总之,BCD算法和ADMM算法都是常用的优化算法,它们在很多领域都有广泛的应用。虽然它们的思路和方法有所不同,但是它们都可以用来求解带有约束条件的最优化问题。需要根据具体的情况选择合适的算法来求解问题。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

<( ̄︶ ̄)Okay.

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值