零空间，Markov‘s inequality, Chebyshev & Chernoff Bound, Union Bound

最新推荐文章于 2023-05-17 20:48:06 发布
最新推荐文章于 2023-05-17 20:48:06 发布
阅读量3.1k 收藏 17
点赞数 6
分类专栏： Optimization
原文链接：https://zhuanlan.zhihu.com/p/49197590
版权

0. 零空间

零空间是在线性映射（即矩阵）的背景下出现的，指：像为零的原像空间，即{x| Ax=0}。
在数学中，一个算子 A 的零空间是方程 Av = 0 的所有解 v 的集合。它也叫做 A 的核，核空间。如果算子是在向量空间上的线性算子，零空间就是线性子空间。因此零空间是向量空间。

1 马尔科夫不等式

切比雪夫不等式是马尔科夫不等式的特殊情况，所以我们先来看看马尔科夫不等式。

1.1 马尔科夫不等式与直观感受

在这里插入图片描述
来感受一下马尔科夫不等式：在这里插入图片描述
可见，越大于平均值，概率越低。

1.2 马尔科夫不等式与年薪百万

看看这个怎么去计算百万年薪的概率。
在这里插入图片描述

1.3 马尔科夫不等式的证明

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2. Chebyshev

Chebyshev bounds give an upper bound on the probability of a set based on known expected values of certain functions (e.g., mean and variance).

The simplest example is Markov’s inequality.

2.1 Chebyshev distance

数学上，切比雪夫距离（Chebyshev distance）或是L∞度量是向量空间中的一种度量，二个点之间的距离定义为其各座标数值差的最大值。以(x1,y1)和(x2,y2)二点为例，其切比雪夫距离为max(|x2-x1|,|y2-y1|)。切比雪夫距离得名自俄罗斯数学家切比雪夫。

若将国际象棋棋盘放在二维直角座标系中，格子的边长定义为1，座标的x轴及y轴和棋盘方格平行，原点恰落在某一格的中心点，则王从一个位置走到其他位置需要的步数恰为二个位置的切比雪夫距离，因此切比雪夫距离也称为棋盘距离[3]。例如位置F6和位置E2的切比雪夫距离为4。任何一个不在棋盘边缘的位置，和周围八个位置的切比雪夫距离都是1。
在这里插入图片描述

2.2 切比雪夫（Chebyshev）定理

在总体分布未知（或非正态）且样本容量小于30时，均值的抽样分布是未知的，这时我们就不能运用中心极限定理、t分布和大样本理论来估计总体的均值，此时，可以运用切比雪夫（Chebyshev）定理来近似估计总体均值。

切比雪夫不等式是马尔科夫不等式的特殊情况，而且还有进一步的关系：这两个不等式的作者是师生关系。

马尔科夫不等式是以俄国数学家安德雷·马尔可夫命名的。
切比雪夫不等式是以马尔科夫的老师巴夫尼提·列波维奇·切比雪夫命名的。

切比雪夫不等式，描述了这样一个事实，事件大多会集中在平均值附近。

2.2.1 切比雪夫不等式与直观感受

在这里插入图片描述
在这里插入图片描述
可见，越远离平均值，概率越低。

2.2.2 切比雪夫不等式与年薪百万

在这里插入图片描述

2.2.3 切比雪夫不等式的证明

在这里插入图片描述

%%%%%%%%%%%%%%%%

2.2.1 切比雪夫（Chebyshev）定理/不等式：

设X是一个随机变数，取区间（0，∞）上的值，F(x)是它的分布函数，设Xα（α >0）的数学期望M(Xα )存在，a>0，则不等式成立。这叫做切比雪夫定理，或者切比雪夫不等式。

2.2.2 切比雪夫不等式的提出

19世纪俄国数学家切比雪夫研究统计规律中，论证并用标准差表达了一个不等式，这个不等式具有普遍的意义，被称作切比雪夫定理，其大意是：任意一个数据集中，位于其平均数m个标准差范围内的比例（或部分）总是至少为1－1/m2，其中m为大于1的任意正数。对于m=2，m=3和m=5有如下结果：

所有数据中，至少有3/4（或75%）的数据位于平均数2个标准差范围内。
所有数据中，至少有8/9（或88.9%）的数据位于平均数3个标准差范围内。
所有数据中，至少有24/25（或96%)的数据位于平均数5个标准差范围内。

x
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.2.3 例题分析

一种新的心脏手术正在一家医院推广，对于已完成的20例这种手术，平均住院期为14.3天，标准差为2.84天，因为手术复杂，住院期天数的总体不服从正态分布，而是有些正偏，总体标准差未知，求总体均值的90%近似置信区间。
在这里插入图片描述

如果可以假设该总体是正态的，即能够使用t分布方法，则可以得到有更高精度的精确90%置信区间：
在这里插入图片描述
对比用切比雪夫不等式和t分布的结果，可以说明前者是对总体均值的近似，后者是对总体均值的精确。（见总体均值估计方法表）

2.2.4 多面体的Chebyshev中心

在这里插入图片描述

2.3 总结

如果我们把人群的收入分布计算出来，我估计应该是个正态分布，那么年入百万的概率就更低了，知乎有人算出来是 万分之四 。

所以马尔科夫不等式、切比雪夫不等式只是对概率的一个估计，有可能不是很准确，但总比瞎想要准确。

百万年薪固然很难，但是根据 贝叶斯定理 ，或许增加一些条件，可以大大增加概率：

  • 接受好的教育，不能就读名校也没有关系，现在网上公开课的资源也很好

  • 勤奋、并有明确的目标

  • 要有耐心，数据显示，40左右慢慢达到人生的收入巅峰

  • …

3. Chernoff Bound

随机变量偏离它的期望一个给定的值的概率，被称为偏差的尾概率(tail probability)。尾概率的计算方式除了利用已知条件直接计算以外，还有很多『模板』可以使用，就包括：

  • 马尔科夫（Markov）不等式
  • 切比雪夫（Chebyshev）不等式
  • 切尔诺夫（Chernoff）界

简单来说尾概率就是 P ( X > t ) P(X > t) P(X>t) 的范围主要由计数计算概率法和利用数字特征计算的方法。

3.1 定义

切尔诺夫界(Chernoff Bound)通常是用来描述随机变量的和的取值在其期望附近的概率，在大多数情况下，随机变量都具有"集中"现象，也即概率较高的取值都集中在其期望附近。比如说抛硬币,抛一次硬币也许无法确定出现正面的概率，但是抛10000次之后呢？出现正反面的概率都稳定在了12附近，这就是"概率集中"现象，而切尔诺夫界(Chernoff Bound)就可以定量的来描述这种现象。
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

3.2 examplar explaination

切尔诺夫界(Chernoff Bound)的证明主要用到了两个工具，一是Markov不等式,一是Moment Generating Functions.

examplar explaination
在这里插入图片描述

3.3 切诺夫界的特殊性质

在这里插入图片描述

4. Union Bound

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

https://www.zhihu.com/question/27821324
https://zh.wikipedia.org/wiki/%E5%88%87%E6%AF%94%E9%9B%AA%E5%A4%AB%E8%B7%9D%E7%A6%BB
https://zhuanlan.zhihu.com/p/49197590
https://zhuanlan.zhihu.com/p/74363642

Anne033
关注
  • 6
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MAFS.zip_MARKOV_markov blanket
09-20
MArkov blanket which is the most great desizer for active
chebycenter(A,b,r0):计算多边形的切比雪夫中心和切比雪夫半径。-matlab开发
05-30
此函数返回由线性不等式 Ax<=b 定义的多胞体的切比雪夫中心和切比雪夫半径。 多胞体的切比雪夫中心是由多胞体包围的最大超球面的中心。 类似地，切比雪夫半径是由多面体包围的最大超球面的半径。
论文研究-临近空间UAV路径衰落的自适应Markov模型.pdf
07-22
在分析临近空间UAV（无人机）飞行特征的基础上，根据临近空间UAV的飞行状态——发射和降落状态、航空飞行状态、飞行盘旋状态，结合临近空间的物理环境，建立了临近空间长航时UAV路径衰落的自适应Markov模型，提出了具体的理论分析过程和实现方法；给出了各个状态下动态信道的路径衰落理论计算式，最后实现了临近空间UAV自适应Markov路径衰落模型的自由空间衰落、双径衰落和多径衰落仿真，从而保证了模型的可靠性。仿真得出：在临近空间UAV的通信中，其路径衰落主要考虑自由空间衰落量和反射分量，但多径分量不容忽视。
学习Markov随机游动以实现鲁棒的子空间聚类和估计
03-16
事实证明，马尔可夫随机漫步（MRW）是理解频谱聚类和嵌入的有效方法。 然而，由于较少的整体结构量度，常规MRW（例如，高斯内核MRW）无法应用于处理从子空间的混合中提取的数据点。 在本文中，我们介绍了一种正则化的MRW学习模型，该模型使用低秩罚分约束全局子空间结构，用于子空间聚类和估计。 在我们的框架中，可以从MRW的转移概率中学习局部成对相似性和全局子空间结构。 我们证明，在某些合适的条件下，我们提出的局部/全局准则可以准确地捕获多个子空间结构，并学习数据的低维嵌入，从而对子空间进行真正的分割。 为了提高实际情况下的鲁棒性，我们还提出了在统一框架中集成过渡矩阵学习和纠错的基础上，MRW学习模型的扩展。 综合数据和实际应用的实验结果表明，我们提出的MRW学习模型及其强大的扩展性能优于最新的子空间聚类方法。
Eliza Markov's Cookbook-开源
04-27
随机配方生成引擎，构建为Python CGI。
切诺夫界 (Chernoff bounds)
赵宗义的专栏
05-02 1万+
在本文中我们将首先给出若干结论, 再给出切诺夫界及其证明.
【证明】【一题多解】布尔不等式（union bound）的证明
07-30 1万+
布尔不等式（Boole’s inequality）也叫（union bound），即并集的上界，描述的是至少一个事件发生的概率（P(⋃iAi)P(⋃iAi)\mathbb{P}\left(\bigcup_i A_i\right)）不大于单独事件（事件之间未必独立）发生的概率之和（∑iP(Ai)∑iP(Ai)\sum_i\mathbb P(A_i)）。 即： P(⋃iAi)≤∑iP(Ai)P(⋃...
切诺夫界（Chernoff Bound）形式及其证明
m0_46496488的博客
05-17 1761
第一次知道切诺夫界是在GCD算法中，为了减少加入运算的结点邻居数量而进行采样，其近似证明中使用了Chernoff Bound。经论文启发，笔者认为这个概率论性质非常有用，因此记下，并附上证明过程，以积累数学工具。
Chernoff Bound（切诺夫界）以及信道编码中的Gilbert-Varshamov Theorem
weixin_41830437的博客
04-11 3267
一、切诺夫界的定义： 二、切诺夫界在信道编码中的应用 切诺夫界被用来证明Gilbert-Varshamov Theorem。 信道编码应用的场景是这样的：在发送一段长度为n比特的信息的时候，由于每个比特都有一定的概率发生传输错误，因此需要冗余编码，来降低信息错误的概率。 最简单的方法就是每一个比特的信息重复几次。例如把（01001）编码为（000111000000111），这样即使传...
Chernoff bound(切诺夫界)
热门推荐
逆风而行
01-02 3万+
马尔科夫不等式：    X为非负随机变量，E(X)存在，对任意t>0,有  Pr[x>t]chernoff 界：    X1,X2,...,Xn为独立泊松事件，Pr[Xi=1]=pi,X=sigma(i=0,n)Xi,u=E[X],对任意的&，0下界     Pr[X上界     Pr[X>(1+&)u]   X1,X2,...,Xn为离散独立随机变量，E{Xi}=0 |Xi|   Pr[|X|>=t]   Pr[X>=t]
离散化滤波器：一种估计非线性状态空间模型的简单方法-研究论文
06-09
用于估计非线性动态模型的现有方法要么计算成本很高，要么依赖于通常无法充分捕捉感兴趣的非线性特征的局部近似。 我开发了一种新方法，即离散化滤波器，用于逼近非线性、非高斯状态空间模型的似然性。 我确定相关的最大似然估计量是强一致的、渐近正态的和渐近有效的。 通过模拟，我表明对于低维设置中相同水平的近似误差，离散化滤波器比替代非线性技术快几个数量级，并且我为应用研究人员提供了实用指南。 我希望该方法的简单性将使应用研究人员更容易和更容易地对非线性模型进行定量研究。 我应用我的方法来估计名义利率下限为零的新凯恩斯主义模型。 考虑到零下限后，我发现菲利普斯曲线的斜率为 0.076，不到线性化模型的典型估计值的 1/3。 这表明通胀与产出缺口之间存在强烈脱钩，以及大衰退后数据中利率意外变化的更大实际影响。
Markov.xlsx
04-07
用Excel实现Markov模型预测土地利用数量结构。内部保留计算公式，方法简单易用，操作便捷。操作参考：http://www.doc88.com/p-0488451707717.html
HMM.rar_Hidden Markov Models_MARKOV
09-23
Hidden Markov processs
程序MARKOV.rar
07-30
使用MATLAB编写相应代码，基于markov链预测出下一次的预测区间 其中使用模糊理论的特征值来估算预测值。通过遍历的方式来，不断确定分组类别，已达到更加精确的预测结果。
MATLAB优化算法实战应用案例-MARKOV应用分析
06-19
MATLAB优化算法实战应用案例-MARKOV应用分析
MatLab-codes.rar_MARKOV_markov chain_matlab markov
09-23
equilibrium matrix for markov chain
markov预测.zip_MARKOV_MARKOV_markov matlab_预测_预测 matlab
07-15
基于markov的预测，使用matlab编程
Markov Decision Processes
04-06
这是关于马尔科夫链的电子书，高清，最新版本，经典著作，英文版
ftp.rar_MARKOV_tree
09-24
Decision Tree Hidden Markov Model.
[再寄小读者之数学篇](2014-06-23 Bernstein's inequality)
最新发布
05-23
今天给大家介绍一个在概率论和统计学中十分有用的定理——Bernstein不等式（Bernstein's inequality）。 在介绍Bernstein不等式之前，我们先来回顾一下Chebyshev不等式（Chebyshev's inequality）。Chebyshev不等式告诉我们，对于任意随机变量$X$和正数$t$，有 $$ \mathbb{P}(|X-\mathbb{E}(X)|\geq t)\leq \frac{\mathrm{Var}(X)}{t^2}, $$ 其中$\mathrm{Var}(X)$表示$X$的方差。 Chebyshev不等式的证明非常简单，我们只需要应用Markov不等式： $$ \mathbb{P}(|X-\mathbb{E}(X)|\geq t)\leq \frac{\mathbb{E}(|X-\mathbb{E}(X)|)}{t}. $$ 然后再用$\mathrm{Var}(X)=\mathbb{E}[(X-\mathbb{E}(X))^2]$即可得到Chebyshev不等式。 Chebyshev不等式的一个显然的缺点是，它给出的上界是关于$t$的二次函数，当$t$比较大时，这个上界可能不是很紧，也就是说，它可能远大于实际的概率上界。此时我们可以考虑使用Bernstein不等式。 Bernstein不等式在Chebyshev不等式的基础上，进一步利用了$X$的高阶矩。具体来说，设$X_1,\ldots,X_n$是$n$个独立同分布的随机变量，且$\mathbb{E}(X_i)=\mu$，$\mathrm{Var}(X_i)=\sigma^2$，令$S_n=\frac{1}{n}\sum_{i=1}^n X_i$，则对于任意$t>0$，有 $$ \mathbb{P}(|S_n-\mu|\geq t)\leq 2\exp\left(-\frac{n t^2}{2(\sigma^2+\frac{t}{3})}\right). $$ 这个不等式的证明比较复杂，这里就不赘述了。不过我们可以看到，当$t$比较小时，Bernstein不等式给出的上界是关于$t$的一次函数，因此在这些情况下，Bernstein不等式比Chebyshev不等式更加紧。 Bernstein不等式的一个重要应用是在概率图模型中的边缘概率估计问题。在实际问题中，我们通常需要计算一些复杂的边缘概率，这些概率通常是由多个随机变量的联合概率密度函数积分得到的。由于积分符号的存在，这些概率通常很难计算。不过，利用Bernstein不等式，我们可以构建一些随机算法（如MCMC算法），来近似计算这些边缘概率。这种算法在机器学习、人工智能等领域中得到了广泛的应用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值