自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

联系方式:qiuyunzou@qq.com

个人博客:www.qiuyun-blog.cn

  • 博客(34)
  • 资源 (9)
  • 论坛 (1)
  • 收藏
  • 关注

原创 期望传播算法及其推导

个人博客:www.qiuyun-blog.cnNotations:Diag(a)\text{Diag}(\boldsymbol{a})Diag(a): a diagonal matrix with a\boldsymbol{a}a being its diagonal element.diag(A)\text{diag}(\mathbf{A})diag(A): a vector fro...

2019-06-14 09:15:32 1823

原创 压缩感知综述

最近整理的一份压缩感知综述,见网址:www.qiuyun-blog.cn主要包括:[1] 信号的稀疏分解;[2] 感知矩阵条件;[3] 经典的压缩感知重构算法。可下载PDF文件...

2019-04-14 10:57:24 907

原创 克拉美-罗下界(Cramer-Rao Lower Bound,CRLB)

对于参数估计问题,目前存在着很多估计算法。那么如何去衡量一个算法的性能,我们主要出于考量三个方面无偏性(unbiased)。对于参数估计问题,设置未知参数θθ\theta,估计器模型θ^θ^\hat{\theta}。则有E[θ^]=θE[θ^]=θ\mathbb{E}[\hat{\theta}]=\theta。对于估计对象为随机变量,则有E[θ^]=E[θ]E[θ^]=E[θ]\mathbb...

2018-07-24 22:04:53 19924 6

原创 高斯噪声与中心极限定理

切比雪夫不等式辛钦大数定律特征函数设随机变量X1,X2,⋯,Xn{{X}_{1}},{{X}_{2}},\cdots ,{{X}_{n}}是相互独立同分布的随机变量序列,且具有相同的数学期望E(Xi)=μ (i=1,2,3,⋯)E({{X}_{i}})=\mu \text{ }(i=1,2,3,\cdots ),作前 个随机变量的算数平均值1n∑i=1nXi\frac{1}{n

2016-08-15 05:28:29 5122 1

原创 贝叶斯估计理论

本篇博客,主要参考Steven M.K的fundamentals of statistical processing第一卷第十一章个人博客网站:qiuyun-blog.cn系统模型给定系统模型y=g(x)\boldsymbol{y}=g(\boldsymbol{x})y=g(x)其中x∈RM\boldsymbol{x}\in \mathbb{R}^Mx∈RM是目标信号,其随机性由先验概率...

2019-09-22 12:09:50 157

原创 高斯相乘引理(Gaussian Reproduction Lemma)

个人博客:www.qiuyun-blog.cn高斯PDF标量实高斯分布N(x∣a,A)=12πAexp⁡[−(x−a)22A]\mathcal{N}(x|a,A)=\frac{1}{\sqrt{2\pi A} }\exp \left[{-\frac{(x-a)^2}{2A} }\right]N(x∣a,A)=2πA​1​exp[−2A(x−a)2​]标量复高斯分布Nc(x∣a...

2019-05-06 20:20:01 1016 4

原创 变分推断

变分推断(variational Inference, VI)是机器学习的一种算法,被用于后验概率的近似。本篇博客给出了变分推断的详细推导以及其在贝叶斯线性回归的应用,详见我的个人博客:www.qiuyun-blog.cn主要内容包括:[1] 变分推断的详细推导过程;[2] 变分推断在贝叶斯线性回归中的应用。...

2019-04-19 21:27:29 385

原创 回归问题初步之线性回归

分类和回归是机器学习的两大基本问题,本篇博客介绍了基本的线性回归问题,详见我的个人博客:www.qiuyun-blog.cn主要内容包括:[1] 一元线性回归[2] 多元线性回归[3] 贝叶斯线性回归...

2019-04-17 20:04:28 144

原创 线性高斯模型中互信息与MMSE关系

对于标量线性高斯模型y=γX+N∼N(0,1)y=\sqrt{\gamma}X+N\sim \mathcal{N}(0,1)y=γ​X+N∼N(0,1),其中γ>0\gamma>0γ>0表示信噪比,有dI(X;Y)dγ=12MMSE\frac{\text{d} I(X;Y)}{\text{d}\gamma}=\frac{1}{2}\text{MMSE}dγd...

2019-04-17 19:50:28 317

原创 期望最大算法

期望最大算法(Expectation Maximization,EM)是属于基于似然函数估计的一种算法。本篇博客主要介绍了EM算法以及EM在通信领域的应用。详见我的个人博客:www.qiuiyun-blog.cn主要内容包括:[1] 介绍EM算法的由来[2] 推导EM算法[3] 介绍基于EM算法的信道估计方法...

2019-04-16 09:51:53 165

原创 支持向量机

本篇博客介绍了支持向量机的引出以及相关的理论,详见我的个人博客:www.qiuyun-blog.cn博客内容主要包括:[1] 支持向量机定义的引出[2] 对偶问题[3] 核函数[4] 软间隔[5] 支持向量回归...

2019-04-16 09:45:52 195

原创 线性高斯模型的估计方法

针对线性高斯模型y=Hx+w\boldsymbol{y}=\boldsymbol{Hx}+\boldsymbol{w}y=Hx+w,本篇博客总结归纳了,几种较为经典的算法,主要包括[1] 最小二乘估计 (Least square, LS)[2] 最大似然估计 (Maximum likelihood, ML)[3] 最小均方误差估计 (minimum mean square error, MM...

2019-04-14 11:28:58 2531

原创 稀疏贝叶斯学习推导过程

前言稀疏贝叶斯学习(Spare Bayesian Learning),在信号处理所覆盖的多个领域至今都有着重要应用。关于稀疏贝叶斯的详细的介绍,可以参考文献[1][2]。本篇博客给出了简要的稀疏贝叶斯的推导过程, 详细见网址:www.qiuyun-blog.cn.参考文献[1] Buchgraber T. Variational sparse Bayesian learning: Centr...

2019-04-14 11:10:46 3009 7

原创 Hubbard-Stratonovich Transform

Theorem 1: H-S transform in real domain (scalar)ex2=η2π∫exp⁡(−η2z2+2ηxz)dz,∀x,ηe^{x^2}=\sqrt{\frac{\eta}{2\pi}}\int \exp \left({-\frac{\eta}{2}z^2+\sqrt{2\eta}xz}\right)\text{d}z, \quad \forall x,\...

2018-09-27 21:51:23 239 2

原创 The property of Gaussian

Assume x∼N(a,A)x∼N(a,A)\boldsymbol{x} \sim \mathcal{N}(\boldsymbol{a},\boldsymbol{A}), prove that Px∼N(Hx,PAPT)(266)(266)Px∼N(Hx,PAPT)\begin{align}\boldsymbol{P}\boldsymbol{x}\sim \mathcal{N}(\bold...

2018-08-09 08:58:29 165

原创 深度学习笔记之主成分分析

我们通过一个有损压缩的例子来介绍主成分分析(Principal components analysis, PCA)。 Example 假设我们有mmm个数据点{x(1),⋯,x(m)}{x(1),⋯,x(m)}\left\{{\boldsymbol{x}^{(1)},\cdots,\boldsymbol{x}^{(m)}}\right\},其中数据维度为x(1)∈Rnx(1)∈Rn\bolds...

2018-07-13 20:26:09 1101

原创 复数矩阵相乘的扩展矩阵计算方法

Matlab是矩阵计算语言,其最基本的存储单位就是矩阵。在诸多信号处理领域,我们所涉及到的信号都是复数信号,那么matlab如何处理复数矩阵呢? 假设矩阵AA\boldsymbol{A}和BB\boldsymbol{B}为复数矩阵,当我们运用matlab计算两个矩阵的乘积时(矩阵AA\boldsymbol{A}和BB\boldsymbol{B}满足矩阵相乘的维度条件),我们可以直接在命令窗口输入A...

2018-07-04 21:44:18 3830

原创 Stein引理(Stein's lemma)

Stein’s lemma:假设XXX是均值为μμ\mu,方差σ2σ2\sigma^2的高斯随机变量(Gaussian random variable)。进一步假设映射ggg存在期望E[g(X)(X−μ)]E[g(X)(X−μ)]\mathbb{E}[g(X)(X-\mu)]和E[g′(X)]E[g′(X)]\mathbb{E}[g'(X)],则有 E[g(X)(X−μ)]=σ2E[g′(X)]...

2018-06-26 21:25:23 3710 1

原创 矩阵正态分布

正态分布关于正态分布的由来,在文章《正态分布的前世今生》中写的很清楚,正态分布是由二项分布而来。正态分布的密度形式首次发现是在棣莫弗-拉普拉斯中心极限定理中。读者可以通过以下几个链接深入了解正态分布的含义 正态分布的前世今生(上) 正态分布的前世今生(下) 为什么正态分布如此常见棣莫弗-拉普拉斯中心极限定理 设随机变量Xn(n=1,2,⋯)Xn(n=1,2,⋯)X_n(n=1,2,...

2018-02-27 23:08:18 4250

原创 高斯相除

The distribution of Complex Gaussian is (1)Nc(x|a,A)∝exp⁡[−(x−a)HA−1(x−a)]" role="presentation" style="position: relative;">Nc(x|a,A)∝exp[−(x−a)HA−1(x−a)](

2018-01-26 23:20:41 619

原创 高斯PDF的性质及其推论

0 符号声明(1)粗体字表示矢量或者矩阵,如x\boldsymbol{x}表示NN维矢量。 (2)N(x|μ,Σ)\mathcal{N}(\boldsymbol{x}|\boldsymbol{\mu},\boldsymbol{\Sigma})表示随机矢量x\boldsymbol{x}是服从均值为μ\boldsymbol{\mu}、协方差矩阵为Σ\boldsymbol{\Sigma}的高斯PD

2017-12-28 13:27:34 1992 3

原创 线性高斯模型中如何将Y的高斯PDF转变成X的高斯PDF

回顾:多维高斯分布 假设x∼N(μ,Σ)\boldsymbol{x}\sim \mathcal{N}(\boldsymbol{\mu},\boldsymbol{\Sigma}),则x\boldsymbol{x}的概率密度表示如下 pX(x)=1(2π)N/2det(Σ)−−−−−−√exp[−12(x−μ)TΣ−1(x−μ)]\begin{align}p_{\boldsymbol{X}}(\

2017-12-26 11:51:52 353

原创 矩阵求逆引理的证明

矩阵求逆引理,或者称Sherman-Woodbury-Morrison公式 (A+BC)−1=A−1−A−1B(I+CA−1B)−1CA−1\begin{align}(\boldsymbol{A}+\boldsymbol{BC})^{-1}=\boldsymbol{A}^{-1}-\boldsymbol{A}^{-1}\boldsymbol{B}(\boldsymbol{I}+\boldsym

2017-07-26 13:37:39 1573

原创 Savitzky-Golay 滤波器在心电数据平滑中的应用

大二的时候做过一个三导联心电的项目,采用的处理器是STM32。当时在中文网站很少存在关于这方面的资料,特别是心电数据平滑这一块。之前在国内某一论坛上分享了一下作品以及作品的全部资源,但是大部分的人对心电数据平滑存在着很大的疑惑。于是今天想总结一下,写一个关于SG滤波器的推导。   首先,我们对NN个数据x[n](n∈[−M,M],N=2M+1)x[n](n\in [-M,M],N=2M+1),用(

2017-06-25 10:43:08 4502 2

原创 似然函数与概率密度函数的区别

在统计学中似然函数(Likelihood function)与概率密度函数(Probability density function)都扮演着重要的角色。本文针对的是其在参数估计(Parameter estimation)中的应用。   现代估计理论在许多设计用来提取信息的电子信号处理系统中都可以找到,这些系统包括   在所有的这些系统中,我们都将面对根据连续时间

2017-06-04 16:52:41 10135 4

原创 矩阵奇异值分解

Notations: (1)Diag(x)Diag(x)\text{Diag}(\boldsymbol{x})表示以矢量为矩阵对角线元素构成对角阵,如Diag(a,b)=(a00b)Diag(a,b)=(a00b)\text{Diag}(a,b)=\left({ \begin{array}{cccc}a&0\\0&b\end{array} }\right); (2)粗体符号表示矩...

2017-05-29 17:25:49 2960

原创 梯度及最小二乘估计器

概念(Notations): (1) f\boldsymbol{f} 表示很多个函数的组合(f1(x),f2(x),⋯,fm(x))(f_1(\boldsymbol{x}),f_2(\boldsymbol{x}),\cdots,f_m(\boldsymbol{x})) (2)△f(x)\triangle f(\boldsymbol{x})表示函数f(x)f(\boldsymbol{x})的梯度

2017-05-20 15:25:53 847

原创 所有的多面体都是凸集

凸优化中多面体的定义 P={x|aTix≤bi,i=1,2,⋯,m,cTjx=dj,j=1,2,⋯,p}\begin{align}\mathcal{P}=\left\{{\boldsymbol{x}|\boldsymbol{a}_i^T\boldsymbol{x}\leq b_i, i=1,2,\cdots, m, \boldsymbol{c}_j^T\boldsymbol{x}=d_j, j=

2017-05-13 10:26:15 3203

原创 高斯相乘引理及其证明

高斯相乘引理 N(x;a,A)N(x;b,B)=N(0;a−b,A+B)N⎛⎝x;aA+bB1A+1B,11A+1B⎞⎠\begin{equation}\mathcal{N}(x;a,A)\mathcal{N}(x;b,B)=\mathcal{N}(0;a-b,A+B)\mathcal{N} \left({x;\frac{\frac{a}{A}+\frac{b}{B}}{\frac{1}{A}+

2017-05-12 19:22:38 2053

原创 高斯随机变量相加得到高斯随机变量的证明

假设X∼N(a,A)X\sim \mathcal{N}(a,A), Y∼N(b,B)Y\sim \mathcal{N}(b,B), 并且XX 与 YY相互独立, 证明 nX+mY∼N(na+mb,n2A+m2B)\begin{equation}nX+mY\sim N(na+mb,n^2A+m^2B)\end{equation} 其中m,nm, n是任意常数,以下分两步给出证明。(1) 假设X

2017-05-12 17:01:28 6064 3

原创 剖析连续时间傅里叶变换

前言   学习傅里叶级数之后,我们得到一个结论,任何满足狄利克雷条件(Dirichlet Conditions)的周期信号f(t)f(t)可以分解为一串虚指数信号的线性加权和,即傅里叶级数。然而实际上,我们需要处理的信号大多为非周期信号。因此,要想对非周期信号进行频域分析,我们需要得到一个属于非周期信号的“傅里叶级数”。   在周期信号的分解中,我们选择信号的分解区间为(a−T/2,a+T/2)(

2016-08-26 13:43:25 1709

原创 剖析连续时间傅里叶级数

1. 信号的正交分解1.1 矢量的几何分解  为了理解对信号进行分解的目的,我们先从几何学的角度,体会下平面矢量以及空间矢量的分解。矢量正交定义如下如图1所示,(a)A→=c1vx→+c2vy→\overrightarrow A = {c_1}\overrightarrow {{v_x}} + {c_2}\overrightarrow {{v_y}} ,即将平面矢量A→\overrightarr

2016-08-22 13:33:52 1395

原创 深入TR室内定位算法

前言  刚来实验室的那段时间,我的导师浩川老师让我研究Ray Liu教授所做的室内定位的研究。由于后来决定读博之后,浩川老师给我重新规划了方向,因此室内定位对于我而言算是一个课外扩展的研究方向吧。学习这个也有一段时间了。刚好晚上睡不着,躺在床上也很无聊,于是跑到实验室写点东西,算是对之前学习的一个阶段性总结吧。   随着无线通信技术尤其是小区技术的发展,定位算法在精度与应用上得到了显著的提高。相对

2016-08-21 02:16:09 1827 7

原创 条件概率密度与条件均值

笔者在研究室内定位算法的过程中,有一些论文出现了条件均值。比如x∼f(x)x\sim f(x),那么该变量的均值为 EX=∫+∞−∞xf(x)dx\begin{equation*}EX=\int_{-\infty }^{+\infty }{xf(x)dx}\end{equation*} 现在需要求解E[X|x>a]E\left[ X|x>a \right]。我们将条件均值进行展开 E[X|

2016-08-16 13:20:11 8363 1

串口波形上位机

上传一款好用的电脑波形型上位机,通过串口发送数据,然后再电脑端显示数据波形(文件内包含上位机的串口通讯协议,以及使用代码,在stm32上亲测好用)

2014-08-14

PCB STM32封装

PCB stm32封装 亲测

2014-08-14

c语言常见问题集

一些很细节的东西 c语言常见问题集 原著Steve Summit 翻译 朱群英 孙云

2014-08-14

c语言深度剖析

个人看了一下 感觉很有用处 比考试类书籍实用很多

2014-08-14

c语言学生管理系统

学生信息管理系统 包括文件存盘操作 很久以前自己做的

2014-08-14

MFC定时关机程序

以前写的 MFC定时关机程序 开发平台为VC++6.0 我用vs2010也试过可以打开

2014-08-14

MFC贪吃蛇(VC++6.0)

以前组员做的一个贪吃蛇 MFC版本运行平台为VC++6.0

2014-08-14

32个单片机毕业设计

包含一些单片机毕业设计 基于51单片机平台 虽然现在32位的单片机很火 初学者玩下51也不错

2014-08-14

电子技术基础模拟部分第五版康光华 课件

电子技术基础模拟部分课件康光华 里面有包括习题在内 讲解详细 思路清晰

2013-09-29

删帖恢复

发表于 2019-01-31 最后回复 2019-04-25

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除