8.8总结

暑期学校线上课：
1.分布式和分散式优化：求解$minimiz{e}_{x\in {\mathbb{R}}^p}$ ${\sum }_{i=1}^n{f}_i(x)+h_i(x)$
当$f_1,\dots f_n是CCP$（和可接近的)和$h_1,\dots h_n是CCP$和可微的，在计算设置中，agent=1，…，n，每个代理都执行本地计算，并通过网络进行通信，来找到解决方案x。
集中共识：考虑一个参数服务器网络模型，其中一个集中式代理与n个独立代理协调。

而对于上面方程，基于一致性技术的分布式方法有分布梯度法，分布ADMM法。同时集中一致的分布式优化还会用到的方程分解方法有对偶分解，原始分解等。
2.具有图一致性的分散优化。在离散数学中图（graph）用于表示网络。那么没有中央协调代练的网络可以表示为，V= {1,2,3,4,5,6} ,E={ {1,2},{1,4},{2,3},{3,4},{4,5},{4,6}}

节点代表存储数据和执行计算的计算代理，而边{i,j}代表i和j之间的直接连接，代理i和j可以通过该连接进行通信。考虑在不直接依赖远程中继通信,不委派任何代理作为中央代理的情况下，通过单个边缘进行通信的算法。分布ADMM法同样可以用于图一致性的分散优化情况。
3.混合矩阵分散优化。混合矩阵：例如，$W\in R^{n\times n}$是一个混合矩阵，当W的一个应用代表一轮通信和通信信息的聚合,那么λ1，。。。λ为w的特征值。w是相对于G = (V,E)的分散混合矩阵，如果当$W_{ij}=0,i\ne j和i,j\notin E时W_{ij}=0$.如果W是分散的，则可以用分散的方式评估$W_y$非零的。
$(W_y{)}_i={\sum }_{i=1}^n{W}_{ij}{y}_j={\sum }_{j\in N_i\cup i}{W}_{ij}{y}_j$
关于混合矩阵的假设:分散优化中使用的混合矩阵$W\in R^{n\times n}$通常满足以下部分或全部假设:
$$W=W^T$$$$N(I-W)=span(1)$$$$1=|{\lambda }_1|>max|{\lambda }_2|,\dots ,|{\lambda }_n|$$
(1)在分散的ADMM或平均中没有被假定，但它是常见的；具有对称W的方法往往更容易分析。(2)意味着当且仅当x = Wx时，x是一致的，并且几乎所有分散优化方法都需要x。(3)假设建立了某些方法的收敛性。
动态混合矩阵：假设混合矩阵，一旦给定就是固定的，不会随着迭代而改变。然而，可以使用一系列动态混合矩阵。即使图是固定的，动态混合矩阵也可以用来获得更快的收敛。可以使用所谓的2阶指数动态混合矩阵以log2(n)步计算分散平均值。这在固定的混合矩阵下是不可能的。同时还介绍了一些不精确的分散的方法，例如分散梯度下降法（DGD）和扩散法。扩散的优点:扩散允许更大的步长，扩散罚公式的解比DGD的解更接近原问题的解。DGD的优点:不需要其他额外的假设。同样精确的分散方法有PG—EXTRA法和NIDS。PG-EXTRA的步长$\alpha$依赖于$\bar{w}$的特征值，这不仅限制了$\alpha$的大小，而且在网络不完全已知的情况下，使得$\alpha$的选择更加困难。相比之下，NIDS允许步长$\alpha$更大，并且独立于W和选择$\bar{w}$