随机过程笔记(8) 高斯过程(1)

最新推荐文章于 2023-09-05 12:30:00 发布
最新推荐文章于 2023-09-05 12:30:00 发布
阅读量4k 收藏 13
点赞数 1
分类专栏： math
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Hesy_H/article/details/102764859
版权

文章目录

在笔记2中实际上已经写过了，但是觉得很重要 就单独再拎出来，也再补充点

补充 矩阵求导的重要性质

在这里插入图片描述

多元高斯分布

基本定义

在这里插入图片描述

一些性质

在这里插入图片描述
在这里插入图片描述

由于变换积分对象，所以要乘上雅克比矩阵，正好是|B|1/2 所以新的式子里面没有协方差矩阵的这个分母了

  • |B|=0 的退化情形
    在这里插入图片描述




n维正态分布

特征函数

n维正态函数的特征函数 要记住
在这里插入图片描述
简易推导：

在这里插入图片描述

写成这样（方便后面求导用）：
在这里插入图片描述

  • 特征函数可以用来计算各阶矩
    在这里插入图片描述
    这里前面为什么相对于一维的特征函数求导过程多了个对ki的累加？ 看看求导过程就知道了



回顾特征函数本身的性质

由一阶矩和二阶矩控制，但是可以推出高阶矩



例

边际分布的数字特征

在这里插入图片描述
数字特征的第一个和第三个肯定不必说，第二的推导如下：

在这里插入图片描述



均值为0的随机变量的数字特征

在这里插入图片描述
在这里插入图片描述
会发现其实是一样的，就是任意两个的协方差的随机组合




性质


边缘分布

在这里插入图片描述
边缘分布 很容易由联合分布得到 ，也是正态分布



独立等价于不相关

两两变量之间相互独立
  • 很重要又特殊的一个性质

在这里插入图片描述
所以如果其协方差矩阵是个主对角矩阵，就说明各分量之间相互独立

  • 证明如下：

独立 —》 不相关
在这里插入图片描述
不相关( 相关系数为0，协方差阵为对角阵 ) --》 独立
在这里插入图片描述


延伸 子向量之间相互独立

可以把 (ξ1,ξ2,ξ3, … ,ξn)拆成两个(甚至多个)独立的高斯联合分布 – （ξ1,ξ2, … ,ξk）与（ξk+1,ξk+2, … ,ξn）
在这里插入图片描述



线性变换不变性

在这里插入图片描述

下面的是个简单的证明

这个在用于证明多维正态分布的时候是个经常用到的性质

  • 实际上均值和方差的这个性质 对于任意函数都是适用的，不仅仅适用于正态分布

在这里插入图片描述



线性组合 —— 一维正态分布和多维正态分布之间的关联

  • 概念区分 ：aTξ是线性变换，Aξ是线性组合 [个人理解: 前者是针对每一个元素 后者是针对每一个随机向量]
    在这里插入图片描述
  • 注意 这里是必须得满足是任意一个线性组合
  • 意义(应用场景) 多维转化为一维更好研究
  • 证明 【 思路 ： 证明是xx分布，立马想到特征函数证明法

在这里插入图片描述

  • 这一步还顺便证出来了新的高斯变量的均值和方差
    在这里插入图片描述
  • 这里之所以可以把在这里插入图片描述这两个看作是等价的，是因为 任意 a ，表明a向量是个变量

【看到这里】
在这里插入图片描述

在这里插入图片描述

  • 这个性质证明结束以后，也可以通过这个性质证高斯分布啦~~ 别的分布的话，还是考虑特征函数（一般是利用那个多个同分布函数相加，其特征函数是单个的特征函数的累加的幸好之）

在这里插入图片描述
这里其实利用了的一个性质就是：线性变换后的随机变量的均值和方差就是分别乘上变换阵的一次和两次（第二个方框）




补充

  • 正定对称阵 H=Q ^ QT ，其中QQT=QTQ=1，即Q为正交阵
荷西·H
关注
  • 1
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习中的随机过程（高斯过程）
scott198512的博客
02-03 1544
高斯过程的直观解释与推导、实现过程
matlab求导代码-gpr_dob_map:使用高斯过程回归模型和导数观测值的非线性动力系统的最大后验态估计。
05-24
matlab求导代码GPR_DOB_MAP 使用高斯过程回归（GPR）模型和导数观测值（也称为局部线性模型）的非线性动力学系统的最大后验（MAP）状态估计量。 这是我的CGNCC 2016论文随附的源代码。 X. Yang，B。Peng，H。Zhou和L. Yang，[使用高斯过程和预先计算的局部线性模型的非线性动态系统的状态估计]（“ IEEE Xplore”），2016 IEEE中文版制导，导航和控制Conference（CGNCC），南京，2016年，第1963-1968页。 目录结构 GPR_DOB包含具有派生观测值的高斯过程回归模型的代码。 这是存储库的精确复制，带有一个附加的'sq_dist.c'及其编译的二进制文件，以提高原始mfile'sq_dist.m'的执行速度 GPR_DOB_MAP包含此存储库的主要代码，即使用GPR模型和派生观测值的MAP估计器。 名称为example_的文件就是示例文件。 飞机攻角估计的例子 此存储库中有两个示例，都在MATLAB中运行。 这些示例使用其他纵向可变项的测量值来估计飞机的迎角，并构成了我在CGNCC2016文件中进行调查的案例研
高斯随机变量的特征函数
12-05
高斯函数 高斯随机过程 正态分布 特征函数
学点数学(2)-特征函数
sinat_40624829的博客
09-22 1257
特征函数1.数列特征方程2.矩阵特征方程3.微分方程特征方程4.积分方程特征方程 特征方程是为研究相应的数学对象而引入的一些等式，这些等式描述了特定对象的特性。依据研究的对象不同，特征方程包括数列特征方程、矩阵特征方程、微分方程特征方程、积分方程特征方程等等。 1.数列特征方程 数列的特征方程 可以用于求导 数列通项公式。 数列的二阶线性推导： an+1=pan+qan−1a_{n+1}=pa_n...
【随机过程】 7 - 高斯过程的初步认识
qq_41741344的博客
12-05 896
高斯过程的初步认识 文章目录高斯过程的初步认识1. 概述2. 扩散方程与高斯过程3. 最大熵与高斯分布3.1 双边无界3.2 单边无界3.3 双边有界4. 中心极限定理、大数定理与高斯过程4.1 中心极限定理4.1.1 中心极限定理的描述4.1.2 特征函数4.1.3 高斯分布的特征函数4.1.4 特征函数与随机变量和的分布4.1.5 中心极限定理的证明4.2 大数定理证明4.3 中心极限定理与大数定理的关系4.3 中心极限定理的应用--随机游动问题 1. 概述   随机过程研究的角度主要包括：线性的角度、
高斯过程（GP）
weixin_30536513的博客
12-23 1781
随机过程基本概念： 随机过程是一个比随机变量更广泛的概念。在概率论中，通常研究一个或多个这样有限个数的随机变量，即使在大数定律和中心极限定理中考虑了无穷多个随机变量，但也要假设随机变量之间互相独立。而随机过程主要是研究无穷多个互相不独立的、有一定相关关系的随机变量。随机过程就是许多随机变量的集合，代表了某个随机系统随着某个指示向量的变化，这个指示向量常用的是时间向量 其中指标集合T：...
高斯过程（Gaussian Processes）原理
热门推荐
ting_qifengl的博客
11-30 3万+
高斯过程（Gaussian Processes, GP）是概率论和数理统计中随机过程的一种，是多元高斯分布的扩展，被应用于机器学习、信号处理等领域。博主在阅读了数篇文章和博客后才算是基本搞懂了GP的原理，特此记录。本文目前暂对高斯过程的公式推导和高斯过程回归原理及其优缺点进行讲解和阐述，后续根据个人学习进度再更新源码等内容。 一、一维高斯分布 我们从最简单最常见的一维高斯分布开始。 众所周知，一维高斯分布，又叫一维正态分布的概率密度函数为： 式中，表示均值，表示方差，均值和方差唯一的决定了曲线的
通信基础 2——高斯分布及归一化、标准化、零均值化
Paul 的笔记库
03-08 1万+
目录高斯变量基础高斯分布概率密度函数性质复高斯分布概率密度函数应用零均值循环对称复高斯随机变量零均值化卡方分布补充归一化标准化 高斯变量基础 高斯分布 概率密度函数 性质 复高斯分布 若复高斯分布Z=X+iY, 且满足 则有 概率密度函数 注：复高斯随机变量的密度函数，分母已经没有根号 应用 零均值循环对称复高斯随机变量 特殊的，当μ=μx=μy=0时，Z称为零均值循环对称复高斯随机变量（zero mean circle symmetric complex gaussian,ZMCSCG）,σ2称为
通信原理板块——高斯随机过程
小灰灰的FPGA的博客
09-05 464
通信系统的性能分析中，计算高斯随机变量ξ小于或者等于某一取值x的频率P(ξ≤x),即概率密度f(x)的积分。高斯过程也称为正态随机过程，在通信系统中的主要噪声，即热噪声就是一种高斯随机过程。高斯过程在任一时刻上的取值是一个正态分布的随机变量，也是高斯随机变量。a为高斯随机变量的均值，σ^2为高斯随机变量的方差，曲线图如下：；②若高斯过程在不同时刻的取值是不相关的，则也是统计独立的。①f(x)关于x=a对称，即f(a+x)=f(a-x)正态分布函数，即正态分布的概率密度f(x)的积分，公式：；
高斯随机过程
qq_43776408的博客
07-28 9195
随机过程包含平稳过程，随机过程可以用分布函数和概率密度函数描述，但是比较复杂，所以我们可以用均值和方差描述随机过程，而平稳过程包含严平稳过程，而平稳过程满足一定的条件就具有各态历经性 高斯过程：随机过程kesei(t)的任意n维分布服从正态分布，则称它为高斯过程，也就是说自变量满足正态分布。高斯分布不一定是平稳分布，要判断高斯过程是不是平稳过程，还要判断一维和二维，和之前判断一样的。 书上44页有...
Intuitive_Probability_and_Random_Processes：我的个人笔记和对问题集的尝试摘自Steven Kay的书《使用MATLAB的直观概率和随机过程》。
02-08
概述： 这个回购是对我个人笔记的补充和对问题集的尝试，这些问题集来自（ “ 。...20：高斯随机过程 21：泊松随机过程 22：马尔可夫链 分解 章节 问题 章节 问题 章节 问题 章节 问题 通道1 16 通道2 16 通
leetcode分类-notebook:我的笔记本
06-30
leetcode 分类 typora-root-url typora-copy-images-to ...高斯过程回归 受限颇尔兹曼机 xgboost lightgbm GBDT adboost 决策树 逆向 js逆向 安卓逆向 爬虫框架 scrapy pyspider 数据库深入与复习 re
深度学习读书笔记.rar
10-13
深度学习是相对于简单学习而言的，目前多数分类、回归等学习算法都属于简单学习或者浅层结构，浅层结构通常只包含1层或2层的非线性特征转换层，典型的浅层结构有高斯混合模型(GMM)、隐马尔科夫模型(HMM)、条件随机域...
《机器学习实战》 学习笔记.zip
最新发布
04-08
监督学习算法：线性回归（Linear Regression）逻辑回归（Logistic Regression）决策树（Decision Trees）随机森林（Random Forests）支持向量机（Support Vector Machines）朴素贝叶斯（Naive Bayes）K近邻算法（K-...
《机器学习》 周志华 学习笔记.zip
04-08
监督学习算法：线性回归（Linear Regression）逻辑回归（Logistic Regression）决策树（Decision Trees）随机森林（Random Forests）支持向量机（Support Vector Machines）朴素贝叶斯（Naive Bayes）K近邻算法（K-...
高斯分布（正态分布）详解
qq_37346140的博客
08-23 1万+
高斯分布的概念详解以及通俗易懂解释、实际应用等。
高斯过程 Gaussian Process
sinat_37836116的博客
04-05 7496
一、什么是高斯过程   高斯过程是一种随机过程，即按时间或者空间索引的随机变量的集合。这个集合中的有限个随机变量构成多维高斯分布。高斯过程就是这个集合中所有随机变量(无限多个)的联合分布。 二、高斯分布 2.1 一元高斯分布   一元高斯分布的概率密度函数为： f(x)=1σ2πe−12(x−μσ)2(1) f(x) = \frac{1}{\sigma\sqrt{2\pi}}e^{-\frac{1}{2}(\frac{x-\mu}{\sigma})^2}\tag{1} f(x)=σ2π​1​e−21​(σx
应用统计学与R语言实现学习笔记（十）——聚类分析
胖胖雕的GIS博客
06-21 5030
Chapter 10 Cluster Analysis本篇是第十章，内容是聚类分析。由于之后的几章是典型的分析方法。而且在14章的案例里面可能不会体现，所以内容里会渗透较多的R语言操作。
数学基础--高斯分布详解
积木的笔记
12-24 3万+
正态分布（Normal Distribution），又名高斯分布（Gaussian Distribution），是一个在数学、物理及工程等领域都非常重要的概率分布，在统计学的许多方面有着重大的影响力。约翰·卡尔·弗里德里希·高斯（Johann Carl Friedrich Gauss）是德国著名数学家、物理学家、天文学家、大地测量学家，他是近代数学奠基者之一，被认为是历史上最重要的数学家之一，并享有“数学王子”的美誉。他的头像也被印在以前德国的官方货币（德国马克 10 马克）上，如图 1 所示。
随机过程毛用才笔记csdn
06-26
### 回答1： 随机过程是概率论和数学的一个分支，它描述了由随机变量组成的序列或进程的演变。在实际应用中，随机过程被广泛用于信号处理、通信系统建模、金融风险管理、仿真和优化等领域。因此，在计算机科学、通信工程、数学和金融等专业的课程中，随机过程是重要的学科之一。 CSDN笔记中的随机过程内容主要涉及基础理论和数学推导。通过阅读这些笔记，可以帮助读者深入了解随机过程的基本概念、随机变量、概率分布、均值和方差、相关性和协方差、自相关函数和功率谱密度等重要知识点。这些知识可以帮助读者理解随机过程的背景和基础理论，并为进一步的应用打下坚实的基础。 除了理论知识，随机过程也包括实际应用和工程问题的解决。因此，CSDN笔记中也包含了一些具体的案例和实例，帮助读者了解如何将随机过程应用于实际问题的解决。例如，如何设计稳定的数字滤波器、如何模拟随机信号和如何应用随机过程进行统计分析等。 总之，CSDN笔记中的随机过程内容是非常有用的，可以帮助读者深入了解随机过程的基本概念和应用，为学习相关领域打下良好的基础。 ### 回答2： 随机过程是概率论的一个重要分支，它研究的是随机变量在时间上的演化规律，因此广泛应用于信号处理、通信、控制、金融、生物医学等众多领域。 在信号处理方面，随机过程可用于分析和处理噪声信号，提高信号的质量和可靠性；在通信中，随机过程可用于设计和优化通信系统，提高信号传输的速率和稳定性；在控制方面，随机过程可用于控制系统的建模和优化，提高控制系统的精度和鲁棒性；在金融上，随机过程可用于建立和分析金融市场模型，对投资和交易有重要的指导意义；在生物医学方面，随机过程可用于基因表达、神经信号传递等生理现象的建模和分析。 因此，对于学习和从事以上领域的研究工作的人来说，掌握随机过程的理论知识及应用方法是十分必要的。CSDN作为技术社区，提供了大量与随机过程相关的笔记和文章，为学习者和研究者提供了宝贵的参考资料，有着重要的实践意义。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值