1.矩函数:
这部分内容主要是在我的笔记上完成的,我会发布我的笔记内容并且在图片作出讲解。
矩函数的定义入图所示:在这里插入图片进行描述。
在上图的笔记中我们可以看到矩函数的定义,我们用简单的话来讲:“t的矩函数就是一个t为自变量的一个函数期望”。而且我们还可以知道“矩函数在0处的n阶导数为期望的n阶原点矩”(我们同时对上式进行先求期望后求导数)。
接下来,我们讲一个例子去运用矩函数的求解。具体笔记如图所示:
假设:忍一枚硬币,它正面向上的概率为p,是程几何分布的,它的期望题目中给出,求解矩函数的二阶导。
所以当x=k时,正面朝上的概率P(k)=(1-p)^(k-1)*p。这时我们可以通过定理4.1来进行计算。
由于概率乘以数值加起来等于期望,所以我们可以将k=1到k=∞的所有期望相加。
下一步,我们同时提取出来p/1-p。这样我们式子后面的部分是可以使用等比数列的求和公式的。结果如图所示。
又因为p<1所以我们可以根据式子解出t的范围是t<-ln(1-p)。(求矩函数时要给出t一个范围)。
我们对求出的矩函数进行求导,一阶导时(t=0代入)。二阶导时(t=0代入)答案为t的2阶原点矩。
此处介绍两个定理,4.2、4.3:如图所示:
接下来,我们讲介绍Chernoff Bounds也就是切诺夫界。
2.切诺夫界(Chernoff Bounds)
当对于任意一个t>0,我们可以使用马尔可夫不等式获得随机变量X的切诺夫界,可以通过选取合适的t值得到具体的界,是的得出的结果符合最小的界,人们通常选取能给出方便形式的t值。由这种方法得出来的界一般称为切诺夫界。笔记如图所示:
同理我们还可以得出如图所示第二种t<0的情况:
我们通过泊松分布来验证切诺夫界。
设X1,X2,……,Xn是独立泊松试验。当Xi=1时的概率为Pi。(泊努力试验分布 Xi只能为0或1)
对于0-1的独立试验我们可以得出它的期望为所有i=1到i=n的所有概率之和。
对于破松分布分的切诺夫界,我们需要先求出泊松分布的矩函数,然后进行切诺夫界的一般形式。
笔记如图所示:
在X1,X2,……,Xn的独立泊松试验序列中可以得到切诺夫界的一般形式:
如图笔记所示:
可以看出有三个界限,下面的通常要比上面的界更强。
对于t>0我们可以证明,套路为:首先对不等式的两边进行指数化,然后使用马尔可夫不等式计算,然后通过上式计算的期望代入,可以证明1式。同理我可以证明小于的切诺夫界。
此外当取绝对值的时所取的界为两倍的大于界。
举例说明当X1,X2,……,Xn是独立的随机变量,x可以取值为1或-1,值都为1/2。证明X>a的切诺夫界。证明套路:(指数化,马尔可夫,求期望,泰勒公式相加,代入,t特值)证明完成。笔记如图。
3.Hoeffding Bound
简单的说,hoeffdingBound就是对于切诺夫界的一个拓展内容,它可以对于只要是独立分布,可以不同分布的进行一个定界。笔记内容如图所示。
后边为两个例子,我就不为大家一一讲解,大家差不多是可以看懂的,不懂的就用笔算一下。内容为《probability and computing》这本书上的例子。
结束分割线——————————————————————————————————————————————————————-
我也是第一次学习这个内容,中间也有很多不足的地方,希望大家给我私信指出。感谢大家。