随机过程(二)——随机变量

1. 随机变量

随机变量： 定义在样本空间上的实值函数，称为随机变量。例如掷骰子时，我们关心的是两颗骰子的点数和，而不是两次骰子具体的点数，我们所关注的量，即点数和，就是随机变量。

示性随机变量： $I=\{\begin{array}{ll}1& 电池的寿命是两年或者更长\\ 0& 其他情形\end{array}$
以E记电池的寿命是两年或者更长，那么随机变量$I$称为事件E的示性随机变量。$I$的取值依赖于E是否发生

概率质量函数： 描述离散型随机变量的输出值

概率密度函数： 描述连续型随机变量的输出值

累积分布函数F：
∀ a ∈ R ， F ( a ) = P { X ≤ a } = { ∑ ∀ x i ≤ a p ( x i ) X 为 离 散 随 机 变 量 ∫ − ∞ a f ( x ) d x X 为 连 续 随 机 变 量 \forall a \in R，F(a) = P\{X \leq a \} = \begin{cases} \sum \limits_{\forall x_i \leq a} p(x_i) & X为离散随机变量 \\ \int \limits_{- \infty}^a f(x) dx & X为连续随机变量 \end{cases} ∀a∈R，F(a)=P{X≤a}=⎩⎪⎨⎪⎧​∀xi​≤a∑​p(xi​)−∞∫a​f(x)dx​X为离散随机变量X为连续随机变量​

F的性质：
  1. F(b)是b的非减函数
  2. ${\lim }_{b\to \infty }F(b)=F(\infty )=1$
  3. ${\lim }_{b\to -\infty }F(b)=F(-\infty )=0$

∀ a < b ， 有 P { a < X ≤ b } = F ( b ) − F ( a ) \forall a < b，有P\{a < X \leq b\} = F(b) - F(a) ∀a<b，有P{a<X≤b}=F(b)−F(a)

P { X < b } = lim ⁡ h → 0 + P { X ≤ b − h } = lim ⁡ h → 0 + F ( b − h ) P\{X < b\} = \lim \limits_{h \to 0^+} P\{X \leq b - h\} = \lim \limits_{h \to 0^+} F(b - h) P{X<b}=h→0+lim​P{X≤b−h}=h→0+lim​F(b−h)

P { X < b } P\{X < b\} P{X<b}不一定等于F(b)，因为F(b)也包括X=b的概率

变量期望E(X)：
$E(x)=\{\begin{array}{ll}\sum _k^{\infty }xp(x)& x为离散随机变量\\ \underset{-\infty }{\overset{\infty }{\int }}xf(x)dx& x为连续随机变量\end{array}$

函数期望E[g(X)]：
$E[g(x)]=\{\begin{array}{ll}\sum _k^{\infty }g(x)p(x)& x为离散随机变量\\ \underset{-\infty }{\overset{\infty }{\int }}g(x)f(x)dx& x为连续随机变量\end{array}$

若a和b都是常数，则$E[aX+b]=aE[X]+b$
随机变量X的期望E(X)称为均值或X的一阶矩。$E(X^n),n\ge 1$称为X的n阶矩。

$E[X^n]=\{\begin{array}{ll}\sum _{x:p(x)>0}{x}^{n}p(x)& X为离散\\ & \\ \underset{-\infty }{\overset{\infty }{\int }}{x}^{n}f(x)dx& X为连续\end{array}$

方差D(X)：
$D(X)=E[(X-E[X]{)}^2]=E(X^2)-[E(X){]}^2$

例如：
X代表掷一颗均匀的骰子的结果，求Var(X)
解：
$$\begin{gathered} E(X)=\sum _{i=1}^{6}i\times \frac{1}{6}=\frac{7}{2} \\ E(X^2)=\sum _{i=1}^6{i}^2\times \frac{1}{6}=\frac{91}{6} \\ Var(X)=\frac{91}{6}-(\frac{7}{2}{)}^2=\frac{35}{12} \end{gathered}$$

易混淆概念：
1. 概率质量函数针对离散随机变量
2. 概率密度函数针对连续随机变量
3. 累积分布函数也叫分布函数，是概率密度函数的积分

2. 离散随机变量、期望、方差

2.1 离散随机变量

一个最多取可数个可能值的随机变量，称为离散随机变量。对于一个离散随机变量X，用 p ( a ) = P { X = a } p(a) = P\{X = a\} p(a)=P{X=a}定义概率质量函数p(a)

X ∈ { x 1 ,   x 2 ,   ⋯   } ⇒ { p ( x i ) > 0 i = 1 ,   2 ,   ⋯ p ( x ) = 0 所 有 其 它 x 值 X \in \{x_1,\ x_2,\ \cdots \} \Rightarrow \begin{cases} p(x_i) > 0 & i = 1,\ 2,\ \cdots \\ p(x) = 0 & 所有其它x值 \end{cases} X∈{x1​, x2​, ⋯}⇒{p(xi​)>0p(x)=0​i=1, 2, ⋯所有其它x值​

X ∈ { x 1 ,   x 2 ,   ⋯   } ⇒ ∑ i = 1 ∞ p ( x i ) = 1 X \in \{x_1,\ x_2,\ \cdots \} \Rightarrow \sum \limits^{\infty}_{i = 1} p(x_i) = 1 X∈{x1​, x2​, ⋯}⇒i=1∑∞​p(xi​)=1，故累积分布函数F可以用p(a)表示为$F(a)=\sum _{\forall x_i\le a}p(x_i)$

例如：
假定X具有由$p(1)=\frac{1}{2}，p(2)=\frac{1}{3}，p(3)=\frac{1}{6}$ 给出的概率质量函数，则X的累积分布函数为
$F(a)=\{\begin{array}{ll}0& a<1\\ \frac{1}{2}& 1\le a<2\\ \frac{1}{3}& 2\le a<3\\ \frac{1}{6}& 3\le a\end{array}$

2.2 伯努利随机变量：

试验的结果只有成功与失败，在成功时令X=1，在失败时令X=0，则X的概率质量函数
p ( 0 ) = P { X = 0 } = 1 − p p ( 1 ) = P { X = 1 } = p p(0) = P\{X = 0\} = 1 - p \\ p(1) = P\{X = 1\} = p\newline p(0)=P{X=0}=1−pp(1)=P{X=1}=p随机变量X称为伯努利随机变量。

期望：
$E[X]=0\times (1-p)+1\times p=p$

方差：
$D(X)=E(X^2)-[E(X){]}^2=p-p^2=p(1-p)$

2.3 二项随机变量

假定做了n次独立试验，其中每次结果为成功的概率为p，失败的概率为$1-p$，如果以X代表出现在n次实验中成功的次数，那么X称为具有参数$(n,p)$的二项随机变量。X的概率质量函数为
$$\begin{gathered} p(i)=\left(\genfrac{}{}{0ex}{}{n}{i}\right)p^i(1-p{)}^{n-i},i=0,1,\cdots ,n \\ (\genfrac{}{}{0ex}{}{n}{i})=C_n^i=\frac{n!}{(n-i)!i!} \end{gathered}$$

期望：
$E(X)=np$
求解过程：
$\begin{array}{rl}E[X]& =\sum _{i=0}^{n}ip(i)\\ & =\sum _{i=0}^{n}i\left(\genfrac{}{}{0ex}{}{n}{i}\right)p^i(1-p{)}^{n-i}\\ & =\sum _{i=1}^n\frac{in!}{(n-i)!i!}{p}^i(1-p{)}^{n-i}\\ & =\sum _{i=1}^n\frac{n!}{(n-i)!(i-1)!}{p}^i(1-p{)}^{n-i}\\ & =np\sum _{i=1}^n\frac{(n-1)!}{(n-i)!(i-1)!}{p}^{i-1}(1-p{)}^{n-i}\\ & =np\sum _{k=0}^{n-1}\left(\genfrac{}{}{0ex}{}{n-1}{k}\right)p^k(1-p{)}^{n-1-k}\\ & =np[p+(1-p){]}^{n-1}\\ & =np\end{array}$

方差：
$D(X)=np(1-p)$
求解过程：
$$\begin{gathered} \begin{array}{rl}E[X^2]& =\sum _{i=0}^n{i}^{2}p(i)\\ & =\sum _{i=0}^n{i}^2\left(\genfrac{}{}{0ex}{}{n}{i}\right)p^i(1-p{)}^{n-i}\\ & =np\sum _{i=1}^n\frac{i(n-1)!}{(n-i)!(i-1)!}{p}^{i-1}(1-p{)}^{n-i}\\ & =np\sum _{k=0}^{n-1}\frac{(k+1)(n-1)!}{(n-1-k)!k!}{p}^k(1-p{)}^{n-1-k}\\ & =np\left[\sum _{k=0}^{n-1}\left(\genfrac{}{}{0ex}{}{n-1}{k}\right)p^k(1-p{)}^{n-1-k}+\sum _{k=0}^{n-1}\frac{k(n-1)!}{(n-1-k)!k!}{p}^k(1-p{)}^{n-1-k}\right]\\ & =np[1+(n-1)p]\end{array} \\ D(X)=E(X^2)-E^2(X)=np[1+(n-1)p]-(np{)}^2=np(1-p) \end{gathered}$$

2.4 几何随机变量

假定进行独立试验直到出现一个结果为成功，其中每一个试验成功的概率都是p，如果以X记直到出现首次成功所需要做的试验次数，则称X为具有参数p的几何随机变量。概率质量函数为 p ( n ) = P { X = n } = ( 1 − p ) n − 1 p , n = 1 ,   2 ,   ⋯ \\p(n) = P\{X = n\} = (1 - p)^{n - 1}p, \quad n =1,\ 2,\ \cdots p(n)=P{X=n}=(1−p)n−1p,n=1, 2, ⋯

期望：
$E(X)=\frac{1}{p}$
求解过程：
$\begin{array}{rl}E[X]& =\sum _{n=1}^{\infty }np(1-p{)}^{n-1}\\ & =p\sum _{n=1}^{\infty }n{q}^{n-1}(q=1-p)\\ & =p\sum _{n=1}^{\infty }\frac{d{q}^n}{dq}\\ & =p\frac{d({\sum }_{n=1}^{\infty }{q}^n)}{dq}\\ & =p\frac{d(\frac{q}{1-q})}{dq}\\ & =\frac{p}{(1-q{)}^2}\\ & =\frac{1}{p}\end{array}$

方差：
$D(X)=\frac{1-p}{p^2}$
求解过程：
$$\begin{gathered} \begin{array}{rl}E(X^2)& =\sum _{n=1}^{\infty }{n}^{2}p(1-p{)}^{n-1}\\ & =p\sum _{n=1}^{\infty }{n}^2{q}^{n-1}(q=1-p)\\ & =p{\left(\sum _{n=1}^{\infty }n{q}^n\right)}_q^{{}^{\prime }}\\ & =p{\left(q\sum _{n=1}^{\infty }n{q}^{n-1}\right)}_q^{{}^{\prime }}\\ & =p{\left(\frac{q}{(1-q{)}^2}\right)}_q^{{}^{\prime }}\\ & =\frac{2-p}{p^2}\end{array} \\ D(X)=E(X^2)-E^2(X)=\frac{2-p}{p^2}-\frac{1}{p^2}=\frac{1-p}{p^2} \end{gathered}$$

2.5 超几何随机变量

超几何分布： 从有限N个物件(包含M个指定种类的物件)中抽出n个物件，成功抽出该指定种类的物件的次数(不放回)
概率密度函数：
p ( k ) = P { X = k } = C M k C N − M n − k C N n p(k) = P\{X = k\} = \frac{C^k_M C^{n - k}_{N - M}}{C^n_N} p(k)=P{X=k}=CNn​CMk​CN−Mn−k​​

期望：
$E(X)=\frac{nM}{N}$
求解过程：

方差：
$D(X)=n\frac{M}{N}(1-\frac{M}{N})(1-\frac{n-1}{N-1})$
求解过程：
略

2.6 泊松随机变量

泊松随机变量：
∀ X ∈ N , ∃ λ > 0 , p ( i ) = P { X = i } = e − λ λ i i ! i = 0 ,   1 ,   ⋯ \forall X \in N, \quad \exist \lambda > 0, \quad p(i) = P\{X = i\} = e^{-\lambda} \frac{\lambda^i}{i!} \quad i = 0,\ 1,\ \cdots ∀X∈N,∃λ>0,p(i)=P{X=i}=e−λi!λi​i=0, 1, ⋯

期望：
$E(X)=\lambda$
求解过程：
$\begin{array}{rl}E[X]& =\sum _{i=0}^{\infty }\frac{i{e}^{-\lambda }{\lambda }^i}{i!}\\ & =\sum _{i=1}^{\infty }\frac{e^{-\lambda }{\lambda }^i}{(i-1)!}\\ & =\lambda e^{-\lambda }\sum _{k=0}^{\infty }\frac{{\lambda }^k}{k!}\\ & =\lambda e^{-\lambda }{e}^{\lambda }=\lambda \end{array}$

方差：
$D(X)=\lambda$
求解过程：
$$\begin{gathered} \begin{array}{rl}E(X^2)& =\sum _{i=0}^{\infty }\frac{i^2{e}^{-\lambda }{\lambda }^i}{i!}\\ & =\lambda \sum _{i=1}^{\infty }\frac{i{e}^{-\lambda }{\lambda }^{i-1}}{(i-1)!}\\ & =\lambda \left(e^{-\lambda }\sum _{k=0}^{\infty }\frac{{\lambda }^k}{k!}+\lambda \underset{k=1}{\overset{\infty }{\int }}\frac{e^{-\lambda }{\lambda }^{k-1}}{(k-1)!}\right)\\ & =\lambda \left(e^{-\lambda }{e}^{\lambda }+\lambda e^{-\lambda }{e}^{\lambda }\right)\\ & =\lambda (1+\lambda )\end{array} \\ D(X)=E(X^2)-E^2(X)=\lambda (1+\lambda )-{\lambda }^2=\lambda \end{gathered}$$

例如：

2.7 总结

离散概率分布	概率质量函数$p(x)$	矩母函数$\varphi (t)$	期望$E(X)$	方差$D(X)$
离散随机变量	p ( a ) = P { X = a } p(a) = P\{X = a\} p(a)=P{X=a}	$$\sum _x{e}^{tx}p(x)$$	$$\begin{gathered} \sum _{x}xp(x) \\ {\varphi }^{\prime }(0) \end{gathered}$$	$$\begin{gathered} E(X^2)-E^2(X) \\ {\varphi }^{\prime \prime }(0)-[{\varphi }^{\prime }(0){]}^2 \end{gathered}$$
伯努利分布	$$\begin{gathered} p(0)=1-p \\ p(1)=p \end{gathered}$$	$$p{e}^t+(1-p)$$	$$p$$	$$p(1-p)$$
二项分布	$$p(x)=\left(\genfrac{}{}{0ex}{}{n}{x}\right)p^x(1-p{)}^{n-x}$$	$$(p{e}^t+(1-p){)}^n$$	$$np$$	$$np(1-p)$$
几何分布	$$p(x)=(1-p{)}^{x-1}p$$	$$\frac{p{e}^t}{1-(1-p)e^t}$$	$$\frac{1}{p}$$	$$\frac{1-p}{p^2}$$
超几何分布	$$p(x)=\frac{C_M^x{C}_{N-M}^{n-x}}{C_N^n}$$	$$\sum _x{e}^{tx}p(x)$$	$$\frac{nM}{N}$$	$$n\frac{M}{N}(1-\frac{M}{N})(1-\frac{n-1}{N-1})$$
泊松分布	$$p(x)=e^{-\lambda }\frac{{\lambda }^x}{x!}$$	$$e^{\lambda (e^t-1)}$$	$$\lambda$$	$$\lambda$$

3. 连续随机变量、期望、方差

3.1 连续随机变量

一个随机变量的可能值是不可数的，记为X，则X是一个连续的随机变量。$\exists f(x)\ge 0且x\in (-\infty ,\infty )，使\forall 实数X\in B$，有X的概率密度函数为 P { X ∈ B } = ∫ B f ( x ) d x P\{X \in B\} = \int_Bf(x) dx P{X∈B}=∫B​f(x)dx

$f(x)$必定满足 1 = P { X ∈ ( − ∞ ,   ∞ ) } = ∫ − ∞ ∞ f ( x ) d x 1 = P\{X \in (-\infty,\ \infty)\} = \int^{\infty}_{-\infty} f(x) dx 1=P{X∈(−∞, ∞)}=∫−∞∞​f(x)dx

例如：设 B = [ a ,   b ] ,   则 P { a ≤ X ≤ b } = ∫ a b f ( x ) d x B = [a,\ b],\ 则P\{a \leq X \leq b\} = \int^{b}_{a} f(x) dx B=[a, b], 则P{a≤X≤b}=∫ab​f(x)dx

累积分布函数F和$f$的关系表示为 F ( a ) = P { X ∈ ( − ∞ , a ] } = ∫ − ∞ a f ( x ) d x \\F(a) = P\{X \in (-\infty, a]\} = \int \limits^a_{-\infty} f(x) dx F(a)=P{X∈(−∞,a]}=−∞∫a​f(x)dx

密度函数是累积分布函数的导数

期望：
$E[x]=\underset{-\infty }{\overset{\infty }{\int }}xf(x)dx$

方差：
$D(X)=E(X^2)-E^2(X)=\underset{-\infty }{\overset{\infty }{\int }}{x}^{2}f(x)dx-{\left[\underset{-\infty }{\overset{\infty }{\int }}xf(x)dx\right]}^2$

3.2 均匀随机变量

均匀随机变量： 一个随机变量X在$(\alpha ,\beta )$的任意特定子区间的概率等于该子区间的长度。

X是区间$(\alpha ,\beta )$上的均匀随机变量，则概率密度函数为
$f(x)=\{\begin{array}{ll}\frac{1}{\beta -\alpha }& \alpha <x<\beta \\ 0& 其它\end{array}$

期望：
$E(X)=\frac{\beta +\alpha }{2}$
求解过程：
$\begin{array}{rl}E(X)& ={\int }_{\alpha }^{\beta }\frac{x}{\beta -\alpha }dx\\ & =\frac{x^2}{2(\beta -\alpha )}{|}_{\alpha }^{\beta }\\ & =\frac{\beta +\alpha }{2}\end{array}$

方差：
$D(X)=\frac{(\beta -\alpha {)}^2}{12}$
求解过程：
$$\begin{gathered} \begin{array}{rl}E(X^2)& =\underset{\alpha }{\overset{\beta }{\int }}\frac{x^2}{\beta -\alpha }dx\\ & =\frac{x^3}{3(\beta -\alpha )}{|}_{\alpha }^{\beta }\\ & =\frac{{\beta }^2+{\alpha }_2+\alpha \beta }{3}\end{array} \\ D(X)=E(X^2)-E^2(X)=\frac{{\beta }^2+{\alpha }^2+\alpha \beta }{3}-[\frac{\beta -\alpha }{2}{]}^2=\frac{(\beta -\alpha {)}^2}{12} \end{gathered}$$

\newline

例如：
1. 计算均匀分布在$(\alpha ,\beta )$上的随机变量的累积分布函数。
解：
$$f(x)=\{\begin{array}{ll}\frac{1}{\beta -\alpha }& \alpha <x<\beta \\ 0& 其它\end{array}$$
累积分布函数$F(a)={\int }_{-\infty }^{a}f(x)dx$
当$a\le \alpha$时，$F(a)={\int }_{-\infty }^{a}f(x)dx={\int }_{-\infty }^{a}0dx=0$
当$a<\beta$时，$F(a)={\int }_{-\infty }^{a}f(x)dx={\int }_{-\infty }^{\alpha }f(x)dx+{\int }_{\alpha }^{a}f(x)dx=0+\frac{1}{\beta -\alpha }x{|}_{\alpha }^a=\frac{a-\alpha }{\beta -\alpha }$
当$a\ge \beta$时，$F(a)={\int }_{-\infty }^{a}f(x)dx={\int }_{-\infty }^{\alpha }f(x)dx+{\int }_{\alpha }^{\beta }f(x)dx+{\int }_{\beta }^{a}f(x)dx=0+\frac{1}{\beta -\alpha }{|}_{\alpha }^{\beta }+0=1$
综上有
$F(a)=\{\begin{array}{ll}0& a\le \alpha \\ \frac{a-\alpha }{\beta -\alpha }& \alpha <a<\beta \\ 1& \alpha \ge \beta \end{array}$

\newline

2. X均匀分布在$(0,10)$上，计算概率$(a)X<3(b)X>7(c)1<X<6$
解：
$$f(x)=\{\begin{array}{ll}\frac{1}{10}& 0<x<10\\ 0& 其它\end{array}$$
则
P { X < 3 } = ∫ − ∞ 3 f ( x ) d x = ∫ − ∞ 0 0 d x + ∫ 0 3 1 10 d x = 3 10 P { X > 7 } = ∫ − ∞ ∞ f ( x ) d x − ∫ − ∞ 7 f ( x ) d x = ∫ 0 10 1 10 d x − ∫ 0 7 1 10 d x = 3 10 P { 1 < X < 6 } = ∫ 1 6 1 10 d x = 1 2 P\{X < 3\} = \int^3_{- \infty} f(x) dx = \int^0_{- \infty} 0 dx + \int^3_0 \frac{1}{10} dx = \frac{3}{10} \\ P\{X > 7\} = \int^{\infty}_{- \infty} f(x) dx - \int^{7}_{- \infty} f(x) dx = \int^{10}_0 \frac{1}{10} dx - \int^{7}_{0} \frac{1}{10} dx = \frac{3}{10} \\ P\{1 < X < 6\} = \int^6_1 \frac{1}{10} dx = \frac{1}{2} P{X<3}=∫−∞3​f(x)dx=∫−∞0​0dx+∫03​101​dx=103​P{X>7}=∫−∞∞​f(x)dx−∫−∞7​f(x)dx=∫010​101​dx−∫07​101​dx=103​P{1<X<6}=∫16​101​dx=21​

3.3 指数随机变量

若一个连续随机变量的概率密度函数给定为，对于某个$\lambda >0$
$f(x)=\{\begin{array}{ll}\lambda e^{-\lambda x}& x\ge 0\\ 0& x<0\end{array}$
则称其为具有参数$\lambda$的指数随机变量。

累积分布函数F为
$F(a)=\underset{0}{\overset{a}{\int }}\lambda e^{-\lambda x}dx=1-e^{-\lambda a}a\ge 0$

期望：
$E(X)=\frac{1}{\lambda }$
求解过程：
$\begin{array}{rl}E(X)& ={\int }_0^{\infty }x\lambda e^{-\lambda x}dx\\ & ={\int }_0^{\infty }-xd(e^{-\lambda x})\\ & =-x{e}^{-\lambda x}{|}_0^{\infty }+{\int }_0^{\infty }{e}^{-\lambda x}dx\\ & =-x{e}^{-\lambda x}{|}_0^{\infty }-\frac{1}{\lambda }{e}^{-\lambda x}{|}_0^{\infty }\\ & =\frac{1}{\lambda }\end{array}$

方差：
$$\begin{gathered} \begin{array}{rl}E(X^2)& ={\int }_0^{\infty }{x}^2\lambda e^{-\lambda x}dx\\ & ={\int }_0^{\infty }-x^{2}d(e^{-\lambda x})\\ & =-x^2{e}^{-\lambda x}{|}_0^{\infty }+{\int }_0^{\infty }{e}^{-\lambda x}d{x}^2\\ & =-x^2{e}^{-\lambda x}{|}_0^{\infty }-\frac{2}{\lambda }\left[x{e}^{-\lambda x}{|}_0^{\infty }+\frac{1}{\lambda }{e}^{-\lambda x}{|}_0^{\infty }\right]\\ & =0-\frac{2}{\lambda }(0-\frac{1}{\lambda })\\ & =\frac{2}{{\lambda }^2}\end{array} \\ D(X)=E(X^2)-E^2(X)=\frac{2}{{\lambda }^2}-(\frac{1}{\lambda }{)}^2=\frac{1}{{\lambda }^2} \end{gathered}$$

3.4 伽马随机变量

密度函数给定为，对于$\lambda >0，\alpha >0$，
$$f(x)=\{\begin{array}{ll}\frac{\lambda e^{-\lambda x}(\lambda x{)}^{\alpha -1}}{\Gamma (\alpha )}& x\ge 0\\ 0& x<0\end{array}$$的连续随机变量，称为具有参数$\lambda$和$\alpha$的伽马随机变量。$\Gamma (\alpha )$称为伽马函数，定义为$$\Gamma (\alpha )={\int }_0^{\infty }{e}^{-x}{x}^{\alpha -1}dx$$

3.5 正态随机变量

X是具有参数$\mu$和${\sigma }^2$的正态随机变量(或者简单地说，X是正态地分布)，X的概率密度函数为
$$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{\frac{-(x-\mu {)}^2}{2{\sigma }^2}}$$

如果X以参数$\mu$和${\sigma }^2$正态地分布，那么$Y=\alpha X+\beta$以参数$\alpha \mu +\beta$和${\alpha }^2{\sigma }^2$正态地分布

期望：
$E(X)=u$
求解过程：
$\begin{array}{rl}E(X)& =\frac{1}{\sqrt{2\pi }\sigma }{\int }_{-\infty }^{\infty }x{e}^{\frac{-(x-\mu {)}^2}{2{\sigma }^2}}dx\\ & =\frac{1}{\sqrt{2\pi }\sigma }{\int }_{-\infty }^{\infty }(x-\mu )e^{\frac{-(x-u{)}^2}{2{\sigma }^2}}dx+\mu \frac{1}{\sqrt{2\pi }\sigma }{\int }_{-\infty }^{\infty }{e}^{\frac{-(x-\mu {)}^2}{2{\sigma }^2}}dx\\ & =\frac{1}{\sqrt{2\pi }\sigma }{\int }_{-\infty }^{\infty }y{e}^{\frac{-y^2}{2{\sigma }^2}}dy+\mu {\int }_{-\infty }^{\infty }f(x)dx\\ & =\mu {\int }_{-\infty }^{\infty }f(x)dx\\ & =\mu \end{array}$

方差：
$D(X)={\sigma }^2$
求解过程：
略

3.6 总结

连续概率分布	概率密度函数$f(x)$	矩母函数$\varphi (t)$	期望$E(X)$	方差$D(X)$
连续随机变量	P { X ∈ B } = ∫ B f ( x ) d x P\{X \in B\} = \int_Bf(x) dx P{X∈B}=∫B​f(x)dx	$${\int }_B{e}^{tx}f(x)dx$$	$$\begin{gathered} {\int }_{-\infty }^{\infty }xf(x)dx \\ {\varphi }^{\prime }(0) \end{gathered}$$	$$\begin{gathered} E(X^2)-E^2(X) \\ {\varphi }^{\prime \prime }(0)-[{\varphi }^{\prime }(0){]}^2 \end{gathered}$$
均匀分布	$$f(x)=\{\begin{array}{ll}\frac{1}{b-a}& a<x<b\\ 0& 其它\end{array}$$	$$\frac{e^{bt}-e^{at}}{(b-a)t}$$	$$\frac{a+b}{2}$$	$$\frac{(b-a{)}^2}{12}$$
指数分布	$$f(x)=\{\begin{array}{ll}\lambda e^{-\lambda x}& x\ge 0\\ 0& x<0\end{array}$$	$$\frac{\lambda }{\lambda -t}$$	$$\frac{1}{\lambda }$$	$$\frac{1}{{\lambda }^2}$$
伽马分布	$$f(x)=\{\begin{array}{ll}\frac{\lambda e^{-\lambda x}(\lambda x{)}^{\alpha -1}}{\Gamma (\alpha )}& x\ge 0\\ 0& x<0\end{array}$$	$${\left(\begin{array}{c}\frac{\lambda }{\lambda -t}\end{array}\right)}^n$$	$$\frac{n}{\lambda }$$	$$\frac{n}{{\lambda }^2}$$
正态分布	$$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{\frac{-(x-\mu {)}^2}{2{\sigma }^2}}$$	$$e^{\mu t+\frac{{\sigma }^2{t}^2}{2}}$$	$$\mu$$	$${\sigma }^2$$

4. 联合分布的随机变量

任意两个随机变量X和Y，定义X和Y的联合累积概率分布函数为
F ( a ,   b ) = p { X ≤ a ,   Y ≤ b } − ∞ < a , b < ∞ F(a,\ b) = p\{X \leq a,\ Y \leq b\} \qquad -\infty < a, b < \infty F(a, b)=p{X≤a, Y≤b}−∞<a,b<∞

X的分布可以由X和Y的联合分布得到
F X ( a ) = P { X ≤ a } = P { X ≤ a ,   Y < ∞ } = F ( a ,   ∞ ) F_X(a) = P\{X \leq a\} = P\{X \leq a,\ Y < \infty\} = F(a,\ \infty) FX​(a)=P{X≤a}=P{X≤a, Y<∞}=F(a, ∞)

Y的分布可以由X和Y的联合分布得到
F Y ( b ) = P { Y ≤ b } = P { X < ∞ ,   Y ≤ b } = F ( ∞ ,   b ) F_Y(b) = P\{Y \leq b\} = P\{X < \infty,\ Y \leq b\} = F(\infty,\ b) FY​(b)=P{Y≤b}=P{X<∞, Y≤b}=F(∞, b)

联合概率密度函数：
∃ f ( x , y ) ,   ∀ x ,   y ∈ R ,   有 P { X ∈ A ,   Y ∈ B } = ∫ B ∫ A f ( x ,   y ) d x d y \exist f(x, y),\ \forall x,\ y \in R,\ 有P\{X \in A,\ Y \in B\} = \int \limits_B \int \limits_A f(x,\ y) dx dy ∃f(x,y), ∀x, y∈R, 有P{X∈A, Y∈B}=B∫​A∫​f(x, y)dxdy

X的概率密度函数：
$f_X(x)=\underset{-\infty }{\overset{\infty }{\int }}f(x,y)dy$

Y的概率密度函数：
$f_Y(y)=\underset{-\infty }{\overset{\infty }{\int }}f(x,y)dx$

函数的概率密度函数：
$E[g(X,Y)]=\{\begin{array}{ll}\sum _y\sum _{x}g(x,y)p(x,y)& 离散情形\\ \underset{-\infty }{\overset{\infty }{\int }}\underset{-\infty }{\overset{\infty }{\int }}g(x,y)f(x,y)dxdy& 连续情形\end{array}$

$E(\sum _{i=1}^n{a}_i{X}_i)=\sum _{i=1}^n{a}_{i}E(X_i)$

例如：
独立随机变量： ∀ a ,   b ,    有 P { X ≤ a ,   Y ≤ b } = P { X ≤ a } P { Y ≤ b } \forall a,\ b,\ \ 有P\{X \leq a,\ Y \leq b\} = P\{X \leq a\} P\{Y \leq b\} ∀a, b,  有P{X≤a, Y≤b}=P{X≤a}P{Y≤b}
若X和Y为独立随机变量，其联合分布函数为F，则$F(a,b)=F_X(a)F_Y(b)$。
当X和Y都是离散时，独立的条件简化为$p(x,y)=p_X(x)p_Y(y)$
当X和Y都是连续时，独立的条件简化为$f(xy)=f_X(x)f_Y(y)$
若果X和Y是独立的，那么对于任意函数g和h，有$E[g(X)h(Y)]=E[g(X)]E[h(Y)]$

协方差：
$\begin{array}{rl}Cov(X,Y)& =E[(X-E[X])(Y-E[Y])]\\ & =E[XY-YE[X]-XE[Y]+E[X]E[Y]]\\ & =E[XY]-E[Y]E[X]-E[X]E[Y]+E[X]E[Y]\\ & =E[XY]-E[X]E[Y]\end{array}$

若X和Y独立，则$Cov(X,Y)=0$
$Cov(X,Y)>0\Rightarrow$ X增加时，Y倾向于增加
$Cov(X,Y)<0\Rightarrow$ X增加时，Y倾向于减少

$$\begin{gathered} Cov(X,X)=Var(X) \\ Cov(X,Y)=Cov(Y,X) \\ Cov(cX,Y)=cCov(X,Y) \\ Cov(X,Y+Z)=Cov(X,Y)+Cov(X,Z) \\ Cov(\sum _{i=1}^n{X}_i,\sum _{i=1}^n{Y}_i)=\sum _{i=1}^n\sum _{i=1}^{n}Cov(X_i,Y_i) \end{gathered}$$

$Var(\sum _{i=1}^n{X}_i)=\sum _{i=1}^{n}Var(X_i)+2\sum _{i=1}^n\sum _{j<i}Cov(X_i,X_j)$
当$X_i$是独立随机变量时，$Var(\sum _{i=1}^n{X}_i)=\sum _{i=1}^{n}Var(X_i)$
这两个公式常用来计算方差
例如：

样本均值： 若$X_1,\cdots ,X_n$独立同分布，则随机变量$\overline{X}=\sum _{i=1}^n\frac{X_i}{n}$就是样本均值
均值是总和/个数，期望是带上概率计算出来的“均值”

$X_1,\cdots ,X_n独立同分布，E(X)=\mu ，D(X)={\sigma }^2$，则
$$\begin{gathered} 1.E[\overline{X}]=\mu \\ 2.Var(\overline{X})=\frac{{\sigma }^2}{n} \\ 3.Cov(\overline{X},X_i-\overline{X})=0 \end{gathered}$$

累积分布函数$F_{X+Y}$： X, Y连续，
F X + Y ( a ) = P { X + Y ≤ a } = ∫ ∫ x + y ≤ a f ( x ) g ( y ) d y = ∫ − ∞ ∞ ∫ − ∞ a − y f ( x ) g ( y ) d x d y = ∫ − ∞ ∞ ( ∫ − ∞ a − y f ( x ) d x ) g ( y ) d y = ∫ − ∞ ∞ F X ( a − y ) g ( y ) d y \begin{aligned} F_{X + Y}(a) & = P\{X + Y \leq a\} \\ & = \int \int \limits_{x + y \leq a} f(x) g(y) dy \\ & = \int \limits^{\infty}_{- \infty} \int \limits^{a - y}_{- \infty} f(x) g(y) dxdy \\ & = \int \limits^{\infty}_{- \infty} \left(\int \limits^{a - y}_{- \infty} f(x) dx \right) g(y) dy \\ & = \int \limits^\infty_{- \infty} F_X(a - y) g(y) dy \end{aligned} FX+Y​(a)​=P{X+Y≤a}=∫x+y≤a∫​f(x)g(y)dy=−∞∫∞​−∞∫a−y​f(x)g(y)dxdy=−∞∫∞​⎝⎛​−∞∫a−y​f(x)dx⎠⎞​g(y)dy=−∞∫∞​FX​(a−y)g(y)dy​

概率密度$f_{X+Y}(a)$
$\begin{array}{rl}{f}_{X+Y}(a)& =\frac{d}{da}{F}_{(X+Y)}(a)\\ & =\frac{d}{da}\underset{-\infty }{\overset{\infty }{\int }}{F}_X(a-y)g(y)dy\\ & =\underset{-\infty }{\overset{\infty }{\int }}\frac{d}{da}{F}_X(a-y)g(y)dy\\ & =\underset{-\infty }{\overset{\infty }{\int }}f(a-y)g(y)dy\end{array}$

例如：


随机变量的函数的联合概率分布：
1. $y_1=g_1(x_1,x_2)和y_2=g_2(x_1,x_2)$可以唯一解出$x_1$和$x_2$，利用$y_1$和$y_2$给出$x_1=h_1(y_1,y_2)和x_2=h_2(y_1,y_2)$
2. $g_1和g_2$在所有的点$(x_1,x_2)$上有连续的偏导数，且
$J(x_1,x_2)=\left|\begin{array}{cc}\frac{d{g}_1}{d{x}_1}& \frac{d{g}_1}{d{x}_2}\\ & \\ \frac{d{g}_2}{d{x}_1}& \frac{d{g}_2}{d{x}_2}\end{array}\right|\ne 0$
在这两个条件下，$Y_1和Y_2$的联合密度函数为
$f_{Y_1,Y_2}(y_1,y_2)=f_{X_1,X_2}(x_1,x_2)|J(x_1,x_2){|}^{-1}$
其中$x_1=h_1(y_1,y_2),x_2=h_2(y_1,y_2)$
例如：


从上面那个例题中，我们可以发现，$X+Y和X/(X+Y)$是独立的，而且$X+Y$有参数为$(\alpha +\beta ,\lambda )$的伽马分布，而$X/(X+Y)$有密度函数$f_V(v)=\frac{\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}{v}^{\alpha -1}(1-v{)}^{\beta -1}，0<v<1$
联合概率分布个人理解是：
有一个由随机变量$X,Y,\cdots$组成的概率空间，然后通过某种映射方式将$X,Y,\cdots$映射到$U,V,\cdots$，然后形成一个由$U,V,\cdots$组成的新的概率空间。
贝塔密度(以$(\alpha ,\beta )$为参数)： $\frac{\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}{v}^{\alpha -1}(1-v{)}^{\beta -1}，0<v<1$

5. 矩母函数

$\varphi (t)=E[e^{tX}]=\{\begin{array}{l}{\sum }_x{e}^{tX}p(x)X离散\\ \\ {\int }_{-\infty }^{\infty }{e}^{tx}f(x)dxX连续\end{array}$
$\varphi (t)$称为矩母函数，因为X的所有矩都能有$\varphi (t)$求微分(求导)得到
矩： 对变量分布和形态特点的一组度量
${\varphi }^{(n)}(0)=E[X^n]$，即矩母函数的n阶导在t=0时等于$E[X^n]$
期望： ${\varphi }^{\prime }(0)$
方差： ${\varphi }^{\prime \prime }(0)-[{\varphi }^{\prime }(0){]}^2$
${\varphi }_{X+Y}(t)=E[e^{t(X+Y)}]=E[e^{tX}{e}^{tY}]=E[e^{tX}]E[e^{tY}]={\varphi }_X(t){\varphi }_Y(t)$
独立随机变量和的矩母函数正是单个矩母函数的乘积
$\varphi (t_1,\cdots ,t_n)=E[e^{(t_1{X}_1+\cdots +t_n{X}_n)}]$
矩母函数唯一地确定了分布，即随机变量的矩母函数和分布函数之间存在一一对应。
拉普拉斯变换：$g(t)=\varphi (-t)=E[e^{-tX}]$，即拉普拉斯变换在t处的赋值正是矩母函数在-t处的赋值。
拉普拉斯变换永远在0与1之间
有同样拉普拉斯变换的非负随机变量有同样的分布

样本方差： 假定$X_1,\cdots ,X_n$是独立同分布随机变量，每个具有均值$\mu$和方差${\sigma }^2$，则样本方差为$$S^2=\sum _{i=1}^n\frac{(X_i-\overline{X}{)}^2}{n-1}$$
${\sum }_{i=1}^n(X_i-\overline{X}{)}^2={\sum }_{i=1}^n(X_i-\mu {)}^2-n(\overline{X}-\mu {)}^2$
$E(S^2)={\sigma }^2$

卡方随机变量： 若$Z_1,\cdots ,Z_n$是独立的标准正态随机变量，那么随机变量${\sum }_{i=1}^n{Z}_i^2$称为具有自由度n的卡方随机变量
如果$X_1,,\cdots ,X_n$是独立同分布的正态随机变量，具有均值$\mu$和方差${\sigma }^2$，那么样本均值$\overline{X}$与样本方差$S^2$是独立的。$\overline{X}$是正态随机变量，具有均值$\mu$和方差$\frac{{\sigma }^2}{n}$，$\frac{(n-1)S^2}{{\sigma }^2}$是具有n-1个自由度的卡方随机变量

6. 发生事件数的分布

7. 极限定理

马尔可夫不等式： X是只取非负值的随机变量，那么任意a > 0，有 P { X ≥ a } ≤ E [ X ] a P\{X \ge a\} \leq \frac{E[X]}{a} P{X≥a}≤aE[X]​
证明：

切比雪夫不等式： 如果X是具有均值$\mu$和方差${\sigma }^2$的随机变量，那么对于任意k>0，有 P { ∣ X − μ ∣ ≥ k } ≤ σ 2 k 2 P\{|X - \mu| \geq k\} \leq \frac{\sigma^2}{k^2} P{∣X−μ∣≥k}≤k2σ2​

在只有概率分布的均值或者均值和方差已知时，它们使我们可以推得所求概率的上界

例如：

强大数定律： 设$X_1,X_2,\cdots$是一列独立同分布的随机变量，令$E[X_i]=\mu$，那么当$n\to \infty$时以概率1有
$$\frac{X_1+X_2+\cdots +X_n}{n}\to \mu$$

即一列独立同分布的随机变量的平均值以概率1收敛到这个分布的均值

中心极限定理： 假定$X_1,X_2,\cdots$是一列独立同分布的随机变量，每个具有均值$\mu$和方差${\sigma }^2$，那么当$n\to \infty$时
$$\frac{X_1+X_2+\cdots +X_n-n\mu }{\sigma \sqrt{n}}$$的分布趋于标准正态分布，即
n → ∞ ， P { X 1 + ⋯ + X n − n μ σ n ≤ a } → 1 2 π ∫ − ∞ a e − x 2 2 d x n \rightarrow \infty，P\{\frac{X_1 + \cdots + X_n - n\mu}{\sigma \sqrt{n}} \leq a\} \rightarrow \frac{1}{\sqrt{2\pi}}\int^a_{-\infty} e^{-\frac{x^2}{2}}dx n→∞，P{σn ​X1​+⋯+Xn​−nμ​≤a}→2π ​1​∫−∞a​e−2x2​dx

例如：

8. 随机过程

一个随机过程 { X ( t ) , t ∈ T } \{X(t), t \in T\} {X(t),t∈T}是随机变量的一个集合。集合T称为此过程的指标集。当T是可数集时，随机过程称为离散时间过程；当T是一个实数空间时，随机过程称为连续时间过程。

随机过程的本质有两个要点：一是随机，二是过程；随机说明任何时候结果都存在不确定性，即分布函数（或者概率密度函数）；过程体现的是时间；在时间t时，随机变量服从某一分布，另一时刻随机变量服从某一分布。如下图所示

参考资料：

1. https://blog.csdn.net/ningyanggege/article/details/88549654
2. 应用随机过程概率模型导论 第11版