分布式优化算法学习（一）

分布式优化算法学习（一）

分布式优化简介

分布式协同优化与传统集中式优化相比较具有如下特点:

• 与优化问题相关的信息分布存储在每个智能体中, 因此更隐私;
• 每个智能体不需要将数据传输到中心节点, 只需要与邻居智能体进行信息交互, 因此更加节约通信成本;
• 不存在单点故障问题, 极大地提高了系统的鲁棒性;
• 不依赖于中心节点, 增强了网络的可扩展性.
  
  分布式协同优化的基本结构，如上图所示，每个智能体（节点）都有一个局部目标函数，全局目标函数是这些局部目标函数的和，每个节点通过与邻居节点进行信息交互，最终协同实现全局优化的目标。
  $${\text{min}}_{x\in {\mathbf{R}}^n}\sum _{i=1}^N{f}_i(x)$$
  即每个智能体的自身状态收敛到全局最优解。

凸分析

对于函数$f:R^n\to R$，如果对任意$x,y\in R^n$和 $0\le \theta \le 1$
$$f(\theta x+(1-\theta )y)\le \theta f(x)+(1-\theta )f(y)$$
则称函数$f$为凸函数。
对于连续可微函数$f:R^n\to R$，如果存在常数$\mu >0$使得下式对任意$x,y\in R^n$成立
$$(▽f(y)-▽f(x){)}^{\text{T}}(y-x)\ge \mu ||y-x|{|}^2$$
则函数$f$为强凸函数。
对于连续可微函数$f:R^n\to R$，如果存在常数$\mu >0$使得下式对任意$y\in R^n$成立
$$(▽f(y)-▽f(x){)}^{\text{T}}(y-x)\ge \mu ||y-x|{|}^2$$
则函数$f$关于$x$是有限强凸的。
对于连续可微函数$f:R^n\to R$，如果存在常数$L>0$使得下式对任意$x,y\in R^n$成立
$$||▽f(y)-▽f(x)||\le L||y-x||$$
则函数称$f$为L_光滑或简称光滑