自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

联系方式:qiuyunzou@qq.com

个人博客:www.qiuyun-blog.cn

原创 期望传播算法及其推导

个人博客:www.qiuyun-blog.cn Notations: Diag(a)\text{Diag}(\boldsymbol{a})Diag(a): a diagonal matrix with a\boldsymbol{a}a being its diagonal element. d...

2019-06-14 09:15:32 1286 0

原创 压缩感知综述

最近整理的一份压缩感知综述,见网址:www.qiuyun-blog.cn 主要包括: [1] 信号的稀疏分解; [2] 感知矩阵条件; [3] 经典的压缩感知重构算法。 可下载PDF文件 ...

2019-04-14 10:57:24 827 0

原创 克拉美-罗下界(Cramer-Rao Lower Bound,CRLB)

对于参数估计问题,目前存在着很多估计算法。那么如何去衡量一个算法的性能,我们主要出于考量三个方面 无偏性(unbiased)。对于参数估计问题,设置未知参数θθ\theta,估计器模型θ^θ^\hat{\theta}。则有E[θ^]=θE[θ^]=θ\mathbb{E}[\hat{\theta...

2018-07-24 22:04:53 16010 6

原创 高斯噪声与中心极限定理

切比雪夫不等式 辛钦大数定律 特征函数 设随机变量X1,X2,⋯,Xn{{X}_{1}},{{X}_{2}},\cdots ,{{X}_{n}}是相互独立同分布的随机变量序列,且具有相同的数学期望E(Xi)=μ (i=1,2,3,⋯)E({{X}_{i}})=\mu \text{ }...

2016-08-15 05:28:29 4949 1

原创 贝叶斯估计理论

本篇博客,主要参考Steven M.K的fundamentals of statistical processing第一卷第十一章 个人博客网站:qiuyun-blog.cn 系统模型 给定系统模型y=g(x) \boldsymbol{y}=g(\boldsymbol{x})y=g(x) 其中x∈...

2019-09-22 12:09:50 109 0

原创 高斯相乘引理(Gaussian Reproduction Lemma)

个人博客:www.qiuyun-blog.cn 高斯PDF 标量实高斯分布 N(x∣a,A)=12πAexp⁡[−(x−a)22A] \mathcal{N}(x|a,A)=\frac{1}{\sqrt{2\pi A} }\exp \left[{-\frac{(x-a)^2}{2A} }\ri...

2019-05-06 20:20:01 683 4

原创 变分推断

变分推断(variational Inference, VI)是机器学习的一种算法,被用于后验概率的近似。本篇博客给出了变分推断的详细推导以及其在贝叶斯线性回归的应用,详见我的个人博客:www.qiuyun-blog.cn 主要内容包括: [1] 变分推断的详细推导过程; [2] 变分推断在贝叶斯...

2019-04-19 21:27:29 344 0

原创 回归问题初步之线性回归

分类和回归是机器学习的两大基本问题,本篇博客介绍了基本的线性回归问题,详见我的个人博客:www.qiuyun-blog.cn 主要内容包括: [1] 一元线性回归 [2] 多元线性回归 [3] 贝叶斯线性回归 ...

2019-04-17 20:04:28 120 0

原创 线性高斯模型中互信息与MMSE关系

对于标量线性高斯模型y=γX+N∼N(0,1)y=\sqrt{\gamma}X+N\sim \mathcal{N}(0,1)y=γ​X+N∼N(0,1),其中γ>0\gamma>0γ>0表示信噪比,有 dI(X;Y)dγ=12MMSE \frac{\text{d}...

2019-04-17 19:50:28 208 0

原创 期望最大算法

期望最大算法(Expectation Maximization,EM)是属于基于似然函数估计的一种算法。本篇博客主要介绍了EM算法以及EM在通信领域的应用。详见我的个人博客:www.qiuiyun-blog.cn 主要内容包括: [1] 介绍EM算法的由来 [2] 推导EM算法 [3] 介绍基于E...

2019-04-16 09:51:53 150 0

原创 支持向量机

本篇博客介绍了支持向量机的引出以及相关的理论,详见我的个人博客:www.qiuyun-blog.cn 博客内容主要包括: [1] 支持向量机定义的引出 [2] 对偶问题 [3] 核函数 [4] 软间隔 [5] 支持向量回归 ...

2019-04-16 09:45:52 172 0

原创 线性高斯模型的估计方法

针对线性高斯模型y=Hx+w\boldsymbol{y}=\boldsymbol{Hx}+\boldsymbol{w}y=Hx+w,本篇博客总结归纳了,几种较为经典的算法,主要包括 [1] 最小二乘估计 (Least square, LS) [2] 最大似然估计 (Maximum likeliho...

2019-04-14 11:28:58 1706 0

原创 稀疏贝叶斯学习推导过程

前言 稀疏贝叶斯学习(Spare Bayesian Learning),在信号处理所覆盖的多个领域至今都有着重要应用。关于稀疏贝叶斯的详细的介绍,可以参考文献[1][2]。本篇博客给出了简要的稀疏贝叶斯的推导过程, 详细见网址:www.qiuyun-blog.cn. 参考文献 [1] Buchgr...

2019-04-14 11:10:46 2519 7

原创 Hubbard-Stratonovich Transform

Theorem 1: H-S transform in real domain (scalar) ex2=η2π∫exp⁡(−η2z2+2ηxz)dz,∀x,η e^{x^2}=\sqrt{\frac{\eta}{2\pi}}\int \exp \left({-\frac{\eta}{2}z...

2018-09-27 21:51:23 174 0

原创 The property of Gaussian

Assume x∼N(a,A)x∼N(a,A)\boldsymbol{x} \sim \mathcal{N}(\boldsymbol{a},\boldsymbol{A}), prove that Px∼N(Hx,PAPT)(266)(266)Px∼N(Hx,PAPT)\begin{align}...

2018-08-09 08:58:29 141 0

原创 深度学习笔记之主成分分析

我们通过一个有损压缩的例子来介绍主成分分析(Principal components analysis, PCA)。 Example 假设我们有mmm个数据点{x(1),⋯,x(m)}{x(1),⋯,x(m)}\left\{{\boldsymbol{x}^{(1)},\cdots,\bolds...

2018-07-13 20:26:09 921 0

原创 复数矩阵相乘的扩展矩阵计算方法

Matlab是矩阵计算语言,其最基本的存储单位就是矩阵。在诸多信号处理领域,我们所涉及到的信号都是复数信号,那么matlab如何处理复数矩阵呢? 假设矩阵AA\boldsymbol{A}和BB\boldsymbol{B}为复数矩阵,当我们运用matlab计算两个矩阵的乘积时(矩阵AA\boldsy...

2018-07-04 21:44:18 2917 0

原创 Stein引理(Stein's lemma)

Stein’s lemma:假设XXX是均值为μμ\mu,方差σ2σ2\sigma^2的高斯随机变量(Gaussian random variable)。进一步假设映射ggg存在期望E[g(X)(X−μ)]E[g(X)(X−μ)]\mathbb{E}[g(X)(X-\mu)]和E[g′(X)]E[...

2018-06-26 21:25:23 2739 0

原创 矩阵正态分布

正态分布 关于正态分布的由来,在文章《正态分布的前世今生》中写的很清楚,正态分布是由二项分布而来。正态分布的密度形式首次发现是在棣莫弗-拉普拉斯中心极限定理中。读者可以通过以下几个链接深入了解正态分布的含义 正态分布的前世今生(上) 正态分布的前世今生(下) 为什么正态分布如此常见 棣莫...

2018-02-27 23:08:18 3701 0

原创 高斯相除

The distribution of Complex Gaussian is (1)Nc(x|a,A)∝exp⁡[−(x−a)HA−1(x−a)]" role="presentation...

2018-01-26 23:20:41 516 0

原创 高斯PDF的性质及其推论

0 符号声明 (1)粗体字表示矢量或者矩阵,如x\boldsymbol{x}表示NN维矢量。 (2)N(x|μ,Σ)\mathcal{N}(\boldsymbol{x}|\boldsymbol{\mu},\boldsymbol{\Sigma})表示随机矢量x\boldsymbol{x}是服从均...

2017-12-28 13:27:34 1714 3

原创 线性高斯模型中如何将Y的高斯PDF转变成X的高斯PDF

回顾:多维高斯分布 假设x∼N(μ,Σ)\boldsymbol{x}\sim \mathcal{N}(\boldsymbol{\mu},\boldsymbol{\Sigma}),则x\boldsymbol{x}的概率密度表示如下 pX(x)=1(2π)N/2det(Σ)−−−−−−√exp[−...

2017-12-26 11:51:52 311 0

原创 矩阵求逆引理的证明

矩阵求逆引理,或者称Sherman-Woodbury-Morrison公式 (A+BC)−1=A−1−A−1B(I+CA−1B)−1CA−1\begin{align} (\boldsymbol{A}+\boldsymbol{BC})^{-1}=\boldsymbol{A}^{-1}-\bolds...

2017-07-26 13:37:39 1381 0

原创 Savitzky-Golay 滤波器在心电数据平滑中的应用

大二的时候做过一个三导联心电的项目,采用的处理器是STM32。当时在中文网站很少存在关于这方面的资料,特别是心电数据平滑这一块。之前在国内某一论坛上分享了一下作品以及作品的全部资源,但是大部分的人对心电数据平滑存在着很大的疑惑。于是今天想总结一下,写一个关于SG滤波器的推导。   首先,我们对N...

2017-06-25 10:43:08 4248 2

原创 似然函数与概率密度函数的区别

在统计学中似然函数(Likelihood function)与概率密度函数(Probability density function)都扮演着重要的角色。本文针对的是其在参数估计(Parameter estimation)中的应用。   现代估计理论在许多设计用来提取信息的电子信号处理系统中都可...

2017-06-04 16:52:41 8761 4

原创 矩阵奇异值分解

Notations: (1)Diag(x)Diag(x)\text{Diag}(\boldsymbol{x})表示以矢量为矩阵对角线元素构成对角阵,如Diag(a,b)=(a00b)Diag(a,b)=(a00b)\text{Diag}(a,b)=\left({ \begin{array}{...

2017-05-29 17:25:49 2870 0

原创 梯度及最小二乘估计器

概念(Notations): (1) f\boldsymbol{f} 表示很多个函数的组合(f1(x),f2(x),⋯,fm(x))(f_1(\boldsymbol{x}),f_2(\boldsymbol{x}),\cdots,f_m(\boldsymbol{x})) (2)△f(x)\tr...

2017-05-20 15:25:53 818 0

原创 所有的多面体都是凸集

凸优化中多面体的定义 P={x|aTix≤bi,i=1,2,⋯,m,cTjx=dj,j=1,2,⋯,p}\begin{align} \mathcal{P}=\left\{{\boldsymbol{x}|\boldsymbol{a}_i^T\boldsymbol{x}\leq b_i, i=1,2...

2017-05-13 10:26:15 2820 0

原创 高斯相乘引理及其证明

高斯相乘引理 N(x;a,A)N(x;b,B)=N(0;a−b,A+B)N⎛⎝x;aA+bB1A+1B,11A+1B⎞⎠\begin{equation} \mathcal{N}(x;a,A)\mathcal{N}(x;b,B)=\mathcal{N}(0;a-b,A+B)\mathcal{N} ...

2017-05-12 19:22:38 1808 0

原创 高斯随机变量相加得到高斯随机变量的证明

假设X∼N(a,A)X\sim \mathcal{N}(a,A), Y∼N(b,B)Y\sim \mathcal{N}(b,B), 并且XX 与 YY相互独立, 证明 nX+mY∼N(na+mb,n2A+m2B)\begin{equation} nX+mY\sim N(na+mb,n^2A+m^...

2017-05-12 17:01:28 5170 2

原创 剖析连续时间傅里叶变换

前言   学习傅里叶级数之后,我们得到一个结论,任何满足狄利克雷条件(Dirichlet Conditions)的周期信号f(t)f(t)可以分解为一串虚指数信号的线性加权和,即傅里叶级数。然而实际上,我们需要处理的信号大多为非周期信号。因此,要想对非周期信号进行频域分析,我们需要得到一个属于非周...

2016-08-26 13:43:25 1638 0

原创 剖析连续时间傅里叶级数

1. 信号的正交分解1.1 矢量的几何分解  为了理解对信号进行分解的目的,我们先从几何学的角度,体会下平面矢量以及空间矢量的分解。矢量正交定义如下如图1所示,(a)A→=c1vx→+c2vy→\overrightarrow A = {c_1}\overrightarrow {{v_x}} +...

2016-08-22 13:33:52 1336 0

原创 深入TR室内定位算法

前言  刚来实验室的那段时间,我的导师浩川老师让我研究Ray Liu教授所做的室内定位的研究。由于后来决定读博之后,浩川老师给我重新规划了方向,因此室内定位对于我而言算是一个课外扩展的研究方向吧。学习这个也有一段时间了。刚好晚上睡不着,躺在床上也很无聊,于是跑到实验室写点东西,算是对之前学习的一个...

2016-08-21 02:16:09 1716 7

原创 条件概率密度与条件均值

笔者在研究室内定位算法的过程中,有一些论文出现了条件均值。比如x∼f(x)x\sim f(x),那么该变量的均值为 EX=∫+∞−∞xf(x)dx\begin{equation*} EX=\int_{-\infty }^{+\infty }{xf(x)dx} \end{equation*} 现...

2016-08-16 13:20:11 7705 1

提示
确定要删除当前文章?
取消 删除