概率论自用笔记

服从分布的符号

• （非离散型变量）服从均匀分布：$$X～U(a,b)$$
• （非离散型变量）服从指数分布：$$X～Exp(\lambda )$$
• 服从正态分布：$$X～N(\mu ,{\sigma }^2)$$
• （离散型变量）服从几何分布：$$X～G(k,p)$$
• （离散型变量）服从二项分布（伯努利分布）：$$X～B(n,p)$$
• （离散型变量）服从泊松分布（用来近似二项分布）：$$X～P(k,\lambda )$$

由简入繁

先从单个事件和单个事件的条件概率说起，再到事件变量（包括离散型变量和连续性变量），再到变量的概率密度函数(pdf)，再到变量的分布函数(cdf)，再到多事件变量的联合概率密度函数、联合分布。
由于离散型随机变量的离散性，所以往往离散型变量更容易理解，更容易做，因为只是各个离散型变量的相加，但连续型变量由于使用函数表示变量，使得其看似“复杂许多”，其实累加反映在函数上，就是函数积分，不过是把累加操作对应成了积分操作而已。
不管是离散型还是连续型，核心思想都是一样的。
由于一维变量和离散型变量的思想过于简单，不再赘述。

连续型变量的pdf和cdf

pdf积分变成cdf，cdf求导得到pdf。
cdf定义：
对于连续型变量$X$来说，
$$F_X(x)={\int }_{-\infty }^{x}P(u)du$$其中函数$P(x)$是pdf，$F_X$是cdf。

联合概率密度函数

无非是个多元的概率密度函数罢了

联合分布函数

由于pdf和cdf的关系，自然要求积分，由于多元，所以要多次积分，对于变量是$x$、$y$的二元函数来说，要分别对$x$和$y$求两次积分。

边缘分布

此分布仅仅对于多元函数来说的。
假设一个联合分布有$X$、$Y$两个变量，则$X$的边缘分布就“不考虑$Y$"，体现在cdf分布函数上就是Y的上下界分别取$+\infty$和$-\infty$：
$$P_X(X=x^{\ast })={\int }_{-\infty }^{x^{\ast }}{\int }_{-\infty }^{+\infty }{P}_{XY}(s,t)dtds$$

体现在cdf上的话，就是把其他“被边缘”的变量lim到无穷就可以了。
一下是$X$的边缘概率分布函数，$Y$被“边缘了，所以取y趋于无穷：
$$F_X=\underset{y\to +\infty }{\lim }{F}_{XY}$$

条件分布

对应于条件概率，显然有pdf一定可以有cdf，此cdf即为”条件分布“。
其实其核心思想和普通条件分布并无差别。
$$P(A|B)=\frac{P(AB)}{P(B)}$$
由于条件已经发生，所以样本空间的总体发生了变化，要求更新后的pdf和cdf，只需在新的条件下得到要求的概率除以新的样本空间就可以了。
体现在公式上，是符合条件的联合分布除以条件变量的边缘分布。设定条件在$y=y\ast$时，积累到$x=x\ast$的cdf：
$$F_{XY}(X=x^{\ast }|Y=y^{\ast })=\frac{{\int }_{-\infty }^{x^{\ast }}{P}_{XY}(u,y^{\ast })du}{P_Y(y^{\ast })}$$

变量独立性的判别

其实遵从的是最简单的条件，以下条件任意一条即可。

• $P(AB)=P(A)P(B)$ 满足此即可判定AB相互独立，反映在cdf上，其实就是两个函数的每个点相乘等于其联合分布的对应点而已，宏观看起来，无非就是两个函数相乘等于概率密度函数，也就是$$P_{XY}=P_X\ast P_Y$$
• 相应的，pdf可以判定，cdf也可以判定，因为积分操作是线性的。$$F_{XY}=F_X\ast F_Y$$
• 与其他变量的联合分布的边缘密度等于自己的概率密度，则相互独立。其对应条件概率$P(A|B)=P(A)$条件，反映在连续性变量中，就是$$P_{XY}(x|y)=P_X(x)=\frac{P_{XY}(x,y)}{P_Y(y)}$$
• 其实第三条和第一条都算一个equation，变换下denominator和numerator就可以了。

构造分布

1维

离散型变量太过简单，略过。
假设高斯分布概率密度函数为$G(x)$，构造$y={\Sigma }_{i=1}^k{x}_i^2$，可用$y$构造新的样本空间。（本例为chi-square分布，其中$k$是卡方分布的自由度）。

多维

离散型变量skip it。
同样，假设新的连续型变量$z(x,y)$已经给出，则其对应的pdf可对应解出。有了pdf，可二重积分求出cdf。
计算相对复杂，主要是理解思想。

期望

雷打不动的$sum(xP(x))$。当然期望不总是存在的，当且仅当$sum(xP(x))$绝对收敛，期望才存在。

• 离散型： $$\sum _i^N{x}_{i}P(x_i)$$
• 连续型：$${\int }_{-\infty }^{+\infty }xP(x)$$

变量函数与期望

其实就是用一个变量构造另一个变量，看对于其期望的影响。对于$g(x)=4x$，这个变换

• 离散型： $$\sum _i^{N}g(x_i)P(x_i)$$
• 连续型：$${\int }_{-\infty }^{+\infty }g(x)P(x)$$

多维

对于非独立变量 $x$,$y$，对于变换$z=2x+y^2$的变换（对于独立变量组成的新变量，其期望不过是两个独立的相加，毕竟相互不影响，所以只讨论有联合分布的变量）：

• 离散型：$$\sum _i^N\sum _j^{N}z(x_i,y_j)P(x_i,y_j)$$
• 连续型：$${\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }z(x,y)P(x,y)dxdy$$
• 其实这条性质和期望的线性性质有些重合。
• 此性质可以组合使用，比如对于于变换$z=2x+y^2$，不管$x$$y$是否独立，可以看成以$y^2$为整体的$B$和$2x$作为$A$，求出AB期望后，可以用线性性质求组合期望。

不仅只有变量

上面列举的是一个分布对于某个变量$x$或者多维$X$的期望。而分布A $P(A)$也可以对另一个分布B $P(B)$求期望。
可以标识为$$E_{P(B)}[P(A)]=某个表达式$$
期望是线性操作，所以对于任何变量:$$E(cX+b)=cE(X)+b$$$$E(X+Y)=E(X)+E(Y)$$

当$X$$Y$独立时，$$E(XY)=E(X)E(Y)$$

条件期望

不过是一个已经取了定值的期望而已，假设$y=y\ast$。条件期望有期望的一切性质。

• 离散型： $$E(X|Y=y\ast )=\sum _i^{N}z(x_i,y\ast )P(x_i,y\ast )$$
• 连续型： $$E(X|Y=y\ast )={\int }_{-\infty }^{+\infty }z(x_i,y\ast )P(x_i,y\ast )$$

方差

其本身的定义是，$D(X)=E((X-E(X){)}^2)$，则由期望运算法则，得出$D(X)=E(X^2)-E(X{)}^2$，可用期望求得方差。
性质：

• $D(cX)=x^{2}D(X)$
• $D(X\pm Y)=D(X)+D(Y)+2Cov(X,Y)。$当且仅当$X$、$Y$相互独立时，$Cov(X,Y)=0$。

协方差

（二维协方差）$$Cov(X,Y)=E((X-E(X))(Y-Y(E)))$$化简后，$$Cov(X,Y)=E(XY)-E(X)E(Y)$$

• property 1:$Cov(aX,bY)=abCov(X,Y)$
• property 2:$Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$
• property 3:协方差受到计量纲量影响大，可使用$\frac{x-E(x)}{\sqrt{D(x)}}$消除。
• 经过标准化后的协方差$\frac{Cov(X,Y)}{\sqrt{D(X)D(Y)}}$称为相关系数 $\rho$.顾名思义，取值$[-1,1]$。
• 关于相关系数，在应用时，相关系数只表示他们的相关程度，相关意味着两变量可用直线拟合关系，不代表其斜率！和协方差一样，正负号代表其正相关和负相关。也正是因为其用直线拟合，所以，这个“相关”，其实仅仅是线性相关！

信息论

• 事件$x$所蕴含的信息: $H(x)=-p(x)logp(x)$
• 互信息：
  表示符号有点奇怪，因为他用$I(X;Y)$或者$I(Y;X)$表示，是一个带条件表示符号。至于为什么显而易见，因为是两个时间同时发生，或者相同的信息的部分，自然是要同时，但是我这个并不是条件概率，因为没有除以p(X)或者p(Y)，不可以用H符号，所以就是I(xx)了。
  由其定义$I(X;Y)=H(X)-H(X|Y)=H(X)+H(Y)-H(X,Y)$，再代入第一个公式就能得到互信息的计算公式了。

一般等式

链式法则: $P(AB)=P(A)P(B|A)=P(B)P(A|B)$
加法法则：$P(A)={\sum }_{B}P(A|B)$
ABC都不独立时，$P(A|B)={\sum }_{C}P(A|C)P(C|B)$