平衡有向图上的异步随机投影算法

Asynchronous Gossip-Based Random Projection Algorithm Over Networks

概述
本篇论文讨论的是在有向平衡的拓扑结构下的，带约束的分布式次梯度投影算法。
首先，根据次梯度下降算法的性质，步长必定是逐渐下降的才能最终收敛于最优解；对于一个固定的步长，也是可以获得一个有限误差的最优解，但是一般不能精确。

基本问题是：
$$
\begin{aligned}\min f(x) = \sum^m_{i=1}{f_i(x)} \quad s.t. x\in \chi = \cap^m_{i=1}\chi_i
\end{aligned}$$

这里为了方便投影的计算，假定所有的投影都是闭式表达式，即由初等函数经过有限次的初等运算复合而成，例如超平面，半空间和球。
现有以下的算法计算最优值：
$$
\begin{aligned}
v_i(k)&= \sum^m_{j=1}[W(k)]_{ij}x_j(k-1)\\
p_i(k)&=\sqcap_{\chi_i\Omega_i(k)}[v_i(k)-\alpha_i(k)\nabla f_i(v_i(k))]-v_i(k) \\
x_i(k)&=v_i(k)+p_i(k){\chi_{ \{i\in \{I_k,J_k\}\}}}
\end{aligned}
$$

其中，转移矩阵\(W(k)\)是双随机矩阵，函数\(\chi_\varepsilon\)是一个事件特征函数，取值是0或1. 这就构成一个随机投影的迭代函数。

变化的步长取
$$\alpha_i(k)= \frac{1}{\Gamma_i(k)}$$

\(\Gamma_i(k)\)表示的是智能体\(i\)已经更新的次数。

改进
基于原先的带约束的随机投影优化算法，这次的算法改良体现在对步长的优化。步长不再是全局协调的，而是给出了非协调步长下的精确收敛性和固定步长下的误差分析。

局限和条件

转载于:https://www.cnblogs.com/sybear/p/10850175.html