对于参数估计问题，目前存在着很多估计算法。那么如何去衡量一个算法的性能，我们主要出于考量三个方面无偏性(unbiased)。对于参数估计问题，设置未知参数θθ\theta，估计器模型θ^θ^\hat{\theta}。则有E[θ^]=θE[θ^]=θ\mathbb{E}[\hat{\theta}]=\theta。对于估计对象为随机变量，则有E[θ^]=E[θ]E[θ^]=E[θ]\mathbb...

个人博客：www.qiuyun-blog.cnNotations:Diag(a)\text{Diag}(\boldsymbol{a})Diag(a): a diagonal matrix with a\boldsymbol{a}a being its diagonal element.diag(A)\text{diag}(\mathbf{A})diag(A): a vector fro...

个人博客：www.qiuyun-blog.cn高斯PDF标量实高斯分布N(x∣a,A)=12πAexp⁡[−(x−a)22A]\mathcal{N}(x|a,A)=\frac{1}{\sqrt{2\pi A} }\exp \left[{-\frac{(x-a)^2}{2A} }\right]N(x∣a,A)=2πA​1​exp[−2A(x−a)2​]标量复高斯分布Nc(x∣a...

变分推断（variational Inference, VI）是机器学习的一种算法，被用于后验概率的近似。本篇博客给出了变分推断的详细推导以及其在贝叶斯线性回归的应用，详见我的个人博客：www.qiuyun-blog.cn主要内容包括：[1] 变分推断的详细推导过程；[2] 变分推断在贝叶斯线性回归中的应用。...

对于标量线性高斯模型y=γX+N∼N(0,1)y=\sqrt{\gamma}X+N\sim \mathcal{N}(0,1)y=γ​X+N∼N(0,1)，其中γ>0\gamma>0γ>0表示信噪比，有dI(X;Y)dγ=12MMSE\frac{\text{d} I(X;Y)}{\text{d}\gamma}=\frac{1}{2}\text{MMSE}dγd...

针对线性高斯模型y=Hx+w\boldsymbol{y}=\boldsymbol{Hx}+\boldsymbol{w}y=Hx+w，本篇博客总结归纳了，几种较为经典的算法，主要包括[1] 最小二乘估计 （Least square, LS）[2] 最大似然估计 （Maximum likelihood, ML）[3] 最小均方误差估计 (minimum mean square error, MM...

前言稀疏贝叶斯学习（Spare Bayesian Learning），在信号处理所覆盖的多个领域至今都有着重要应用。关于稀疏贝叶斯的详细的介绍，可以参考文献[1][2]。本篇博客给出了简要的稀疏贝叶斯的推导过程， 详细见网址：www.qiuyun-blog.cn.参考文献[1] Buchgraber T. Variational sparse Bayesian learning: Centr...

最近整理的一份压缩感知综述，见网址：www.qiuyun-blog.cn主要包括：[1] 信号的稀疏分解；[2] 感知矩阵条件；[3] 经典的压缩感知重构算法。可下载PDF文件...

期望最大算法（Expectation Maximization，EM）是属于基于似然函数估计的一种算法。本篇博客主要介绍了EM算法以及EM在通信领域的应用。详见我的个人博客：www.qiuiyun-blog.cn主要内容包括：[1] 介绍EM算法的由来[2] 推导EM算法[3] 介绍基于EM算法的信道估计方法...