B417科研笔记

设矩阵A的第i大特征值为λi​， 对应特征向量vi​，A=AH求：∇A​λi​=∂A∗∂λi​​目标： 写出 dλi​=tr(BdAH)则有∇A​λi​=B。根据特征值定义： Avi​=λi​vi​,viH​vi​=1有：d(Av1​)=dA∗v1​+Advi​=d(λi​vi​)=dλi​∗。

在介绍变分贝叶斯之前，首先以这篇博客介绍下大名鼎鼎的变分法。 参考资料主要是知乎的文章与维基百科。变分就是函数的微分。回顾一下传统的函数优化问题。 对于min⁡xf(x)\min_x f(x)minx​f(x)这样的优化问题，求取最优的xxx的做法常用一阶条件，即：∂f∂x⋆=0 \frac{\partial f}{\partial x^\star} =0 ∂x⋆∂f​=0对应的物理意义是从该点出发的任何变化方向都无法让函数值进一步下降，也即:f(x⋆)≤f(x⋆+ϵdx)f(x^\star) \

参考论文 《The Variational Approximation for Bayesian Inference》令观测值为x\mathrm{x}x，代估参数值为 θ\thetaθ， EM算法所想要最大化的目标函数，最大似然函数可写为：ln⁡p(x;θ)=F(q,θ)+KL(q∥p)(1)\ln p(\mathbf{x} ; \boldsymbol{\theta})=F(q, \boldsymbol{\theta})+K L(q \| p) \tag{1}lnp(x;θ)=F(q,θ)+KL(q∥

在 ADMM算法简介 和 最大化速率的智能反射面波束成形（下）： ADMM 我们对ADMM算法进行了简单的介绍，前者主要侧重于原理，而后者则以IRS波束成形设计的实例展示了ADMM算法的实际应用。 这篇博客基于Millimeter-Wave Beamformed Full-Dimensional MIMO Channel Estimation Based on Atomic Norm Minimization 这一原子范数信道估计经典论文，介绍ADMM算法在应对SDP问题时的应用，以降低求解复杂度。不过，考

Householder变换Householder矩阵定义如下：Q=I−2uuT(1)Q=I-2 uu^T\tag{1}Q=I−2uuT(1)其中u\mathbf{u}u为单位向量。对某一向量左乘QQQ即对其进行Householder变换。其具体物理意义如下图所示：Qx=x−2uuTx=yQx = x - 2uu^T\mathbf{x}=\mathbf{y}Qx=x−2uuTx=y也即，该Householder变换就是对xxx进行了镜面反射，该镜面与u\mathbf{u}u垂直。那么，如果想

关于QR分解随着学习的深入，愈发感受到QR分解的重要性，必须重写一篇博客来记录之。 QR分解的具体定义如下：对于任意方阵AAA， 有：A=QRA = QRA=QR其中，QQQ是一个正交矩阵， RRR是一个上三角矩阵。 此外，若A\mathbf{A}A为长方形矩阵，即行数大于列数，则有：A=QR=Q[R10]=[Q1Q2][R10]=Q1R1A=Q R=Q\left[\begin{array}{c}R_{1} \\0\end{array}\right]=\left[\begin{array}

置换矩阵是一种非常实用的数学工具， 其确切定义如下：一个正方矩阵，若其每一行和每一列有且仅有一个非零元素111，则称之为置换矩阵。顾名思义，其作用是：当将某一矩阵左乘置换矩阵，相当于将矩阵的行重新排列。 而右乘置换矩阵，则相当于对列重新排列。因此，当我们想对矩阵的行或列重新排列时，就可以等效地将其写为左/右乘置换矩阵的形式。 插一句题外话，对某矩阵左乘一个对角阵，相当于对其每一行都分别乘上对应的对角元素。 右乘一个对角阵，则相当于每一列乘上一个对角元素。 因此，左乘代表对行操作，右乘代表对列

优化问题：Z^=arg⁡min⁡∥Z−X∥F2 s.t. rank⁡(Z)⩽N,Z∈RM×L\begin{aligned}\widehat{\mathbf{Z}}=\arg \min &\|\mathbf{Z}-\mathbf{X}\|_{\mathrm{F}}^{2} \\\text { s.t. } & \operatorname{rank}(\mathbf{Z}) \leqslant N, \mathbf{Z} \in \mathbb{R}^{M \time

前言这篇博客是对经典论文 Linear Transmit Processing in MIMO Communications Systems的摘记。这篇文章考虑的是收发端的各自独立信号处理设计，而非联合设计。继而，给出了匹配滤波、迫零滤波与维纳滤波这三种常见滤波方式的具体数学形式。系统模型考虑如图所示的一个线性系统模型， 有：y=Ps∈CNs~=G(HPs+η)∈CB\boldsymbol{y}=\boldsymbol{P} \boldsymbol{s} \in \mathbb{C}^{N}\

在之前的许多次接触中感到了矩阵求逆引理的强大可谓在通信中无处不在。然而稍显繁琐的表达式让我总是没能完整记忆，每次都要对着矩阵论的书才得以使用。痛定思痛，恰好今天看了维基上对其的介绍，觉得太过优雅，就以这篇博客记录一下。Woodbury 恒等式 ：(A+UCV)−1=A−1−A−1U(C−1+VA−1U)−1VA−1(A+U C V)^{-1}=A^{-1}-A^{-1} U\left(C^{-1}+V A^{-1} U\right)^{-1} V A^{-1}(A+UCV)−1=A−1−A−1U(C

前言这篇博客为 Low-Complexity Statistically Robust Precoder/Detector Computation for Massive MIMO Systems 的笔记。 文章介绍了一种基于KA算法的预编码设计思路，可以规避传统算法中的求逆操作，以降低系统计算复杂度。如下所示，传统的ZFD (迫零接收机) 和 MMSED (最小均方误差接收机) 的表达式为：s^ZFD =(QHQ)−1QHys^MMSED =(QHQ+1SNRIK)−1QHy\

Boyd的书中给出了凸优化最基本的标准定义如下：minimize⁡f0(x) subject to fi(x)⩽0,i=1,⋯ ,mhi(x)=0,i=1,⋯ ,p\begin{array}{ll}\operatorname{minimize} & f_{0}(x) \\\text { subject to } & f_{i}(x) \leqslant 0, \quad i=1, \cdots, m \\& h_{i}(x)=0, \quad

对于常见MIMO系统，我们知道对于确定性信道，性能通常由速率衡量，如下：R=log⁡det⁡(I+HQHH) R = \log\det(I +HQH^H)R=logdet(I+HQHH)其中， HHH代表信道， Q=FFHQ = FF^HQ=FFH， FFF为预编码矩阵。而对于随机信道，性能往往由遍历速率衡量，即速率的期望如下：R=E{log⁡det⁡(I+HQHH)},R = E\{\log\det(I + HQH^H)\} ,R=E{logdet(I+HQHH)},其中EEE是对HHH取期望。

前言这两天在调研MIMO预编码算法文献的时候，恰巧看到了一篇这篇paper：A Leakage-Based Precoding Scheme for Downlink Multi-User MIMO Channels解开了我之前对广义瑞丽熵最优解的证明疑惑。 便写这篇博客来记录一下。问题传统的多用户MIMO预编码，往往以速率， 也即SINR的函数为目标，SINR可写为：SINR⁡i=∥Hiwi∥2Miσi2+∑k=1,k≠iK∥Hiwk∥2\operatorname{SINR}_{i}=\fr

文章目录前言系统模型第一阶段第二阶段前言在上一篇博客 压缩感知的尽头: 原子范数最小化， 笔者记录介绍了一种新的算法：原子范数最小化。 主要停留在算法理论的推导层面。 这篇博客则介绍在 IRS信道估计方向上， 利用原子范数最小化来求解问题的文章 Channel Estimation for RIS-Aided mmWave MIMO Systems via Atomic Norm Minimization， 今年发表在 IEEE TWC上。选取这篇文章，一方面是趁热打铁地掌握 原子范数方法的具体使用，

前言基于 压缩感知的尽头: 原子范数最小化 中的原子范数最小化算法， 笔者做了一些matlab的仿真， 作为简单的例程，希望帮助大家进一步理解算法和自定义的拓展。由于凸问题的求解需要使用 CVX， 因此需要读者先自行安装好 matlab 的 CVX包。1-D 无噪场景假设接收天线有646464根， 有333个单天线的目标源同时发射信号， 接收信号可以表示为：z=[a(f1),a(f2),a(f3)][s1  s2  s3]T=A(f)s z=[a(f_1), a(f_2), a(f_3)][s_1

前言之前在各类应用中接触到了 Schur补， 即舒尔补这个概念。 而下定决心写一篇博客来记录， 是由于在 压缩感知的尽头: 原子范数最小化 又一次充分应用到了 Schur 补。 似乎， 这和 矩阵的 半正定性， 和 SDP 的充分使用，密不可分。 因此， 有足够的理由深入了解。参考的书籍为： Convex Optimization for Signal Processing and Communications: From Fundamentals to Applications.无疑是凸优化的一本好

前言在之前的博客中，我们介绍了包括正交匹配追踪OMP、近似消息传递GAMP 等常见的压缩感知算法。 抛开复杂度不谈，对于压缩感知问题， 哪个算法拥有最佳的性能， 无疑是让人感兴趣的话题。 那么目前可以给出答案了： 压缩感知的尽头， 就是 原子范数最小化算法。 而其能在一众算法中登顶的原因也很简单： 它既是拥有优良凸优化性质的算法， 又没有精度的限制。 简单而言， 如果说 OMP 等在有限码本上选取码字的算法为 On-grid 类型。 那么 原子范数最小化算法，就是在无穷精度的范围内进行搜索， 即 Grid

前言之前的几篇博客 经典的SDR算法： 用半正定松弛法 ( Semidefinite Relaxation) 求解二次优化问题 和 经典的SDR算法（下）：SDR的具体使用细节与相关代码 中介绍了一种行之有效的 QCQP问题的求解方法。 这其中， SDP 半正定规划 是 无可避免的必由之路。 然而，传统的CVX求解方法， 如内点法等， 其复杂度为 O(n3.5log⁡(1/ϵ))O\left(n^{3.5} \log (1 / \epsilon)\right)O(n3.5log(1/ϵ))， 其中 nnn

前言在上一篇博客中， 我们介绍了这篇文章 Weighted Sum-Rate Optimization for Intelligent Reflecting Surface Enhanced Wireless Networks 的系统建模和使用分式规划方法对问题的简化。 上一篇的遗留问题是， 具体如何对 IRS 矩阵进行优化。 作者提出了多种算法， 在本篇中会一一介绍， 比如以之命名本篇的ADMM。最近点投影通过分式规划， IRS波束成形问题最终可以变成求解如下的子问题：(P4a)max⁡θf4

前言在上一篇博客 经典的SDR算法： 用半正定松弛法 ( Semidefinite Relaxation) 求解二次优化问题 我们介绍了SDR算法的基本思想。 本文中， 我们重点再针对SDR具体使用时的细节进行阐述。 这里简单回顾下， 原QCQP问题为：min⁡x∈Rn    xTCx s.t. xTAix⊵ibi,i=1,…,m(1)\begin{aligned}\min _{x \in \mathbb{R}^{n}} & \;\;x^{T} C x \\\te

前言这篇博客旨在介绍下最近在通信中经常用到的 ADMM 算法。 算法的全称为 Alternating Direction Method of Multipliers, 中文直译为： 交替方向乘子法。 本文的参考文献为 Boyd 的经典著作： Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers， 事实上从名字就可以看出， 正如Boyd在摘要中所提到的， AD

近期碰到这样一个小问题， 当 xxx 是在 [0,2π][0, 2\pi][0,2π] 上均匀分布时， 求 y=sin⁡(x)y=\sin(x)y=sin(x) 的分布？然后发现百度出来的答案都是错的…先上结论， 用matlab先看一下概率分布图， 代码如下：for i = 1 : 100000 a = unifrnd(0, 2 * pi); b(i) = sin(a);endcdfplot(b)结果如图所示， 也就是说， sin⁡(x)\sin(x)sin(x)并不是如直觉所

本文参考了知乎的文章 机器学习 | 近端梯度下降法 (proximal gradient descent)， 写的非常棒，但感觉有些微的赘余， 因此以这篇博客，希望更精简地介绍 近端梯度下降法 这种略显陌生的 算法。对于传统的可微的目标函数， 直接使用梯度下降法即可。 而对于不可微的情况下， 就是 近端梯度法 表现的时机了。 简而言之， 目标函数必可写成如下的形式：f(x)=g(x)+h(x)f(x)=g(x)+h(x)f(x)=g(x)+h(x)其中 g(x)g(x)g(x) 可微， 而 h(

前言在上一篇我们总结了凸函数的一些基本性质和重要的一阶二阶条件， 在这一节，我们结合 CVX 工具包的一些使用定义来深入理解 如何快速判断函数是否为凸。 这有两点意义： 1. 学会正确地使用CVX工具包， 防止报错。 2. 学会判断哪些函数是凸函数 —— 既然 CVX可以判断你输入的问题是否为凸问题， 那么我们只需要学习其逻辑即可。CVX 语法我们直接从CVX的语法中对凸函数的辨别进行学习。 （最基本的凸函数，我们可以通过上篇所讲的 定义、一阶二阶条件得到， 本篇主要聚焦于 如同从基本的凸函数组合衍生

前言最近在学习CVX的使用， 也得知了其最核心的点在于需要掌握 如何判断 目标函数是否为凸。 这篇博客就是基于Boyd的凸优化经典教材，对凸函数判断的一些整理， 也记录几个私以为极为重要的证明。基本定义对于定义域为凸集 ，且对于 x,y∈dom⁡fx, y \in \operatorname{dom} fx,y∈domf， 0⩽θ⩽10 \leqslant \theta \leqslant 10⩽θ⩽1时， 满足f(θx+(1−θ)y)⩽θf(x)+(1−θ)f(y)f(\theta x+(1-\

前言在前两篇博客中， 我们分别讲述了消息传递算法的来龙去脉 和 利用 高斯及泰勒展开近似得到的最大后验估计的GAMP版本。 这一篇博客，我们使用类似的推导，整理了在实际中可能更常用的， MMSE 最小均方误差估计版本的 GAMP 算法。模型背景我们旨在解决上图这样的问题， 已知输入q\mathbf{q}q （先验信息）， 已知输出 y\mathbf{y}y（后验信息)， 已知变换矩阵A\mathbf{A}A， 反推出变量x\mathbf{x}x。 以AWGN信道举例：y=z+w=Ax+w\mat

前言在上一篇博客中我们简单介绍了消息传递算法的雏形。 然而， 当变量维度较大时，对每个标量进行逐个的消息计算需要不可能承担的复杂度。 因此， 通过一些近似来简化计算， 则是 AMP (approximate message passing) 类算法的核心思想。这篇博客， 我们将通过详细的数学推导， 来展示 GAMP 算法是如何对消息传递进行近似的。模型背景我们旨在解决上图这样的问题， 已知输入q\mathbf{q}q （先验信息）， 已知输出 y\mathbf{y}y（后验信息)， 已知变换矩阵A\

根据 loopy BP算法， 其流程实际要计算两个消息算子：Δi→j(t,xj)=const+max⁡x\xjfout (zi,yi)+∑r≠jΔi←r(t,xr)(1)\begin{aligned}{\Delta}_{i \rightarrow j}\left(t, x_{j}\right)=\mathrm{const} +\max _{\mathbf{x}\backslash x_j} f_{\text {out }}\left(z_{i}, y_{i}\right)+\sum_{r \

对偶上升法对于一个等式约束的凸优化问题如下：minimize⁡f(x) subject to Ax=b,\begin{array}{ll}\operatorname{minimize} & f(x) \\\text { subject to } & A x=b,\end{array}minimize subject to ​f(x)Ax=b,​其中， f(x)f(x)f(x)为凸函数。对偶上升法是一种行之有效的方法

本文的收敛性证明针对于可行集为凸集的场景。https://zhuyulab.blog.csdn.net/article/details/119084135 在这篇中我们证明了， 无约束的梯度下降法，可以有：∥xk+1−x⋆∥≤M∥xk−x⋆∥\|x_{k+1}-x^\star\|\le M\|x_k-x^\star\|∥xk+1​−x⋆∥≤M∥xk​−x⋆∥即每次迭代后的点 相比于迭代前， 离最优值 x⋆x^\starx⋆更接近。而投影梯度法的收敛性核心在于证明：∥x^k+1−x⋆∥≤M∥xk−

由之前的博客 https://zhuyulab.blog.csdn.net/article/details/116051540 可知， 事实上无线通信中最常用的 metric, 信道容量 / 速率 / 互信息 / 信息熵 其实是由下式给出的：R=log∣I+1σ2HFFHHH∣ R = log|I + \frac{1}{\sigma^2}HFF^HH^H| R=log∣I+σ21​HFFHHH∣这里 H∈CNs×NtH\in\mathbb{C}^{N_s\times N_t}H∈CNs​×Nt​代表信道

前言最近一直在看 GAMP 算法相关， 之前看到密密麻麻的一大串公式，令人望而生畏。 等静下心来细缕的时候， 发现其实也就那么一回事。相比于扎实的数学功底， 战胜自己内心的恐惧似乎才是学习 GAMP算法 的最关键点。我自己学习下来觉得可以用这样一句话来简单概括GAMP算法： 通过中心极限定理及泰勒展开， 对传统的消息传递算法进行近似， 从而得到了复杂度显著下降而性能优异的GAMP算法。因此， 这篇博客也分为两部分， 第一部分讲述所谓的消息传递算法， 而第二部分则讲述 GAMP 如何通过近似来降低消息传

前言本文是博主对于 Zhi-quan Luo 老师的经典著作 《Semidefinite Relaxation of Quadratic Optimization Problems》 的读书笔记，希望可作为对全文以中文形式的核心梳理。单刀直入首先， Semidefinite Relaxation (SDR) 适用的问题可以写为如下形式：min⁡x∈Rn    xTCx s.t. xTAix⊵ibi,i=1,…,m(1)\begin{aligned}\min _{x \in

大数定理弱大数定理（辛钦定理）X1,X2…X_1, X_2 \dotsX1​,X2​…是相互独立， 服从同一分布的随机变量序列， 数学期望为 E(Xk)=μ(k=1,2,⋯ )E(X_k)=\mu (k=1,2,\cdots)E(Xk​)=μ(k=1,2,⋯), 则对于任意ϵ>0\epsilon>0ϵ>0:lim⁡n→∞P{∣1n∑k=1nXk−μ∣<ε}=1\lim _{n \rightarrow \infty} P\left\{\left|\frac{1}{n} \sum

本文记录下对信道容量的数学推导。信道容量与互信息假定读者已有了基本的信息论知识， 那么， 假设发送信号为 xxx （可以是一个长度为NNN的向量）， 接收信号为 yyy。 衡量 xxx信息量的度量就是 xxx的熵 H(x)H(x)H(x), 而条件熵 H(x∣y)H(x|y)H(x∣y) 就是在已知 yyy的情况下， xxx剩余的不确定度。那么，要想达到可靠通信， H(x∣y)H(x|y)H(x∣y)要趋近于0。 既已知了 yyy就相当于已知了 xxx.根据信息熵的公式，我们有：H(x∣y)=H

拉格朗日对偶对于一个标准形式的优化问题， 我们可以写为：minimize⁡f0(x) subject to fi(x)⩽0,i=1,⋯ ,mhi(x)=0,i=1,⋯ ,p,\begin{array}{ll}\operatorname{minimize} & f_{0}(x) \\\text { subject to } & f_{i}(x) \leqslant 0, \quad i=1, \cdots, m \\& h_{i}(x)=0,

前言之前忙于论文， 停更了很久。 接下来的一段时间，出于各种原因， 决定在CSDN平台上做 最近在 混合波束成形 及 智能反射面 领域 非常常见的流形优化 (Manifold Optimization) 算法 的专题介绍。尽管目前已有了不少的中文博客， 但出于其各种弊端， 使得本篇的成文仍有其不可或缺的意义。 而如果要盘点最核心的意义， 就在于这篇是对读者的 数学能力 与 阅读理解能力 要求最低的 流形优化讲解了。唯一参考的文献为 Manopt 工具包作者 Boumal 的 新书： An introd

最近接触了一些克罗内克积和 Khatri-Rao Product及向量化的相关问题， 本文记录下非常重要的一个概念： 交换矩阵。定义在线性代数中， 有一类矩阵被称为 置换矩阵 (permutation matrix)：对于一个正方矩阵， 每一行和每一列有且仅有一个非零元素， 就是置换矩阵。比如：P=[100001010]\mathbf{P} =\left[\begin{array}{lll}1 & 0 & 0 \\0 & 0 & 1 \\0 &

文章目录前言为什么要掌握CRLB一些近期涉及CRLB的通信估计算法论文CRLB的简单介绍通信中最重要的CRLB——高斯噪声建模下矢量情形的CRLB实数情形复数情形：前言在对通信系统估计问题的最新科研文章的调研中，我发现CRLB （克拉美罗下界）的出镜率非常高。这也说明了这一早就被提出的概念，至今能追随着潮流，也值得去掌握。 因此，简单地写了这篇文章来概述下 CRLB 与 科研中的估计算法。为...