多变量优化非凸问题——一种基于Gram矩阵的观测矩阵和稀疏字典的迭代优化算法

对于多变量优化非凸问题：
$mi{n}_{\Phi ,\Psi }P(\Phi ,\Psi )$
式中：$P(\ast )$是损失函数（误差函数）。
观测矩阵$\Phi$和稀疏字典$\Psi$的交替优化方法：
1、初始化${\Phi }^0$为初始观测矩阵(对角线全1)，初始化${\Psi }^0$为稀疏字典，设定迭代次数$n=1$
2、由${\Phi }^0$可以计算观测后的字典的Gram矩阵为：
$G^0=({\Phi }^0\Psi {)}^T({\Phi }^0\Psi )=g_{ij}^0$
3、使用收缩运算更新字典的Gram矩阵
$G^1=\{\begin{array}{l}{g}_{ij}^{0}i\ne j，|g_{ij}^0|<\rho \\ sign(g_{ij}^0)\rho i\ne j，|g_{ij}^0|>\rho \\ 1i=j\end{array}$
4、利用求得的$G^1$更新字典
${\Psi }^1=argmi{n}_{{\Psi }^1}P({\Phi }^0,{\Psi }^1,G^1)=argmi{n}_{{\Phi }^1}||G^1-{\Psi }^{1T}{\Phi }^{0T}{\Phi }^0{\Psi }^1|{|}_F^2$
展开${\Psi }^{1T}{\Phi }^{0T}{\Phi }^0{\Psi }^1$为$v_1^2+v_2^2+v_3^2+...$
将原式展开成：
$G^1-v_2^2-v_3^2-...-v_1^2=E_1-v_1^2$
将$E_1$进行svd分解，$E_1=u_1{\lambda }_1{u}_1^T+u_2{\lambda }_2{u}_2^T+...$
使用$u_1{\lambda }_1{u}_1^T$代替$E_1$，更新$v_1=\sqrt{{\lambda }_1{u}_1}$，更新$v_2=\sqrt{{\lambda }_2{u}_2}......$。$v(v^1,v^2,...)$的数量等于观测矩阵中观测点的数量，其数值代表：经过更新后的字典通过观测矩阵进行观测后的观测值。根据目前的观测矩阵${\Phi }^0$和$v(v^1,v^2,...)$可以计算字典$\Psi$
其他方法可以参看
https://blog.csdn.net/asexdcrfvgb/article/details/106671215
5、根据观测条件，生成观测矩阵如下，这种观测矩阵比较容易物理实现，这种观测矩阵的具体信息可以参看论文《基于压缩感知的电力设备状态感知技术》：
观测矩阵${\Phi }^1=\left(\begin{array}{c}{\lambda }_{1}0000...\\ 00{\lambda }_{2}00...\\ 0000{\lambda }_3...\end{array}\right)$
${\Phi }^1=argmi{n}_{{\Phi }^1}P({\Phi }^1,{\Psi }^1,G^1)=argmi{n}_{\Phi }||G^1-{\Psi }^{1T}{\Phi }^{1T}{\Phi }^1{\Psi }^1|{|}_F^2$
使用最小二乘法求解${\Phi }^1$
6、重复迭代2，3，4，5步骤，更新Gram矩阵，进而更新字典和观测矩阵
7、如果损失函数小于设定阈值，则迭代停止
部分内容参考自
《基于压缩感知的电力设备状态感知技术》
《压缩感知系统中字典和感知矩阵优化设计》