R统计建模

第 1 章 概率统计常识

1.1 随机事件与概率

1.1.1 随机事件

1.1.1.1 随机事件

​ 在一定条件下，所得的结果不能预先完全确定，而只能确定是多种可能结果中的一种，称这种现象为随机现象。使随机现象得以实现和对它观察的全过程称为随机试验(random experiment)，记为E。随机试验满足以下条件：

1. 可以在相同条件下重复进行；
2. 结果有多种可能性，并且所有可能结果事先知道；
3. 做一次试验究竟哪个结果出现，事先不能确定。

​ 称随机试验的所有可能结果组成的集合为样本空间(sample space)，记为 $\Omega$ 。试验的每一个可能结果称为基本事件（Elementary event）或样本点(sample point)，记为$\omega$。

​ 称$\Omega$中满足一定条件的子集为随机事件(random event)，用大写字母$A,B,C,\cdots$表示。

​ 在每次试验中，$\Omega$总是发生，为必然事件(certain event)。空集$\varnothing$不包含任何样本点，且每次试验中总不发生，为不可能事件(impossible event)。

1.1.1.2 随机事件间的关系

​ 若事件A的发生必然导致事件B的发生，则称事件A包含于事件B，或事件B包含事件A，记为$A\subset B$，亦称为事件的**包含(contain)**关系。

​ 若$A\subset B$，且$B\subset A$，则称事件A和事件B等价(equivalent)，记为$A=B$。

​ 若事件A与事件B至少有一个发生，则称事件A与B的和(union)，记为$A\bigcup B$。

​ 若事件A发生而事件B不发生，则称事件A与事件B的差，记为$A-B$。

​ 若事件A与B不能同时发生，则称事件A与B为互斥事件(Mutually exclusive event)或不相容事件(Incompatiable event)，记为$AB=\varphi$。

​ 若A为随机事件，称事件不发生的事件为事件A的对立事件(Opposite event)/逆事件(Complementary event)，记为$\overline{A}$。事件A满足$A\bigcup \overline{A},A\overline{A}=\varphi$。$\to$ 对立事件一定是互斥事件，但互斥事件不一定是对立事件。

1.1.1.3 随机事件的运算律

1. 交换律 $A\bigcup B=B\bigcup A,AB=BA$
2. 结合律 $(A\bigcup B)\bigcup C=A\bigcup (B\bigcup C)，(A\bigcup B)\bigcap C=A\bigcap (B\bigcap C)$
3. 分配律 $(A\bigcup B)C=(AC)\bigcup (BC)，A\bigcup (BC)=(A\bigcup B)(A\bigcup C)$
4. 德摩根律 $\overline{A_1\bigcup A_2}=\overline{A_1}\bigcap \overline{A_2},\overline{A_1\bigcap A_2}=\overline{A_1}\bigcup \overline{A_2}$
5. 减法 $A-B=A\overline{B}$

1.1.2 概率

定义1.1 设随机试验E的样本空间为$\Omega$，KaTeX parse error: Undefined control sequence: \Digamma at position 1: \̲D̲i̲g̲a̲m̲m̲a̲是$\Omega$的子集组成的集族，满足

1. KaTeX parse error: Undefined control sequence: \Digamma at position 12: \Omega \in \̲D̲i̲g̲a̲m̲m̲a̲;
2. 若KaTeX parse error: Undefined control sequence: \Digamma at position 7: A \in \̲D̲i̲g̲a̲m̲m̲a̲，则KaTeX parse error: Undefined control sequence: \Digamma at position 18: …verline{A} \in \̲D̲i̲g̲a̲m̲m̲a̲;（对逆运算封闭）
3. 若$A_{i} \in \Digamma, i = 1,2,\cdots $，则$\lim\limits_{i=1}^\infty A_i \in \Digamma$.（对可列并运算封闭）

则称KaTeX parse error: Undefined control sequence: \Digamma at position 1: \̲D̲i̲g̲a̲m̲m̲a̲为$\Omega$的一个$\sigma -$代数（事件体），KaTeX parse error: Undefined control sequence: \Digamma at position 1: \̲D̲i̲g̲a̲m̲m̲a̲中的集合称为事件，样本空间$\Omega$和$\sigma$代数的二元体KaTeX parse error: Undefined control sequence: \Digamma at position 10: (\Omega, \̲D̲i̲g̲a̲m̲m̲a̲)称为可测空间。

定义1.2 随机试验E的样本空间为$\Omega$，KaTeX parse error: Undefined control sequence: \Digamma at position 10: (\Omega, \̲D̲i̲g̲a̲m̲m̲a̲)是可测空间，对于每个事件KaTeX parse error: Undefined control sequence: \Digamma at position 7: A \in \̲D̲i̲g̲a̲m̲m̲a̲，定义一个实数$P(A)$与之对应，若函数$P(\cdot )$满足条件：

1. 对于每个事件A，均有$0\le P(A)\le 1$;
2. $P(\Omega )=1$
3. 若事件$A_1,A_2,\cdots$两两互斥，即对于$i,j=1,2,\cdots ,i\ne j,A_i{A}_j=\varphi$均有$P(A_1\cup A_2\cup \cdots )=P(A_1)+P(A_2)+\cdots$

则称$P(A)$为事件$A$的概率(probability)，称KaTeX parse error: Undefined control sequence: \Digamma at position 10: (\Omega, \̲D̲i̲g̲a̲m̲m̲a̲, P)为概率空间。

1.1.2.2 概率的性质

1. 性质1：$P(\varphi )=0$
2. 性质2：若事件$A_1,A_2,\cdots ,A_n$两两互斥，则有$P(A_1\cup A_2\cup \cdots \cup A_n=P(A_1)+P(A_2)+\cdots +P(A_n)$，即互斥事件和的概率等于它们各自概率的和
3. 性质3：对任一事件$A$，均有$P(\overline{A})=1-P(A)$
4. 性质4：对两个事件$A,B$，若$A\subset B$，则有$P(B-A)=P(B)-P(A),P(B)\ge P(A)$
5. 性质5：（加法公式）对任意两个事件$A,B$，有$P(A\cup B)=P(A)+P(B)-P(AB)$

1.1.2.3 古典概型

设随机事件E的样本空间中只有有限个样本点，即 Ω = { ω 1 , ω 2 , ⋯   , ω n } \Omega = \{\omega_1, \omega_2, \cdots, \omega_n\} Ω={ω1​,ω2​,⋯,ωn​}，其中n为样本点总数。每个样本点${\omega }_i(i=1,2,\cdots ,n)$出现是等可能的，并且每次试验有且仅有一个样本点发生，则称这类现象为古典概型(classical probability)。若事件A包含m个样本点，则事件的概率定义为$P(A)=\frac{m}{n}=\frac{事件A包含的基本事件数}{基本事件总数}$

1.1.2.4 几何概型

当随机试验的样本空间是某一可度量的区域，并且任意一点落在度量（长度、面积和体积）相同的子区域内是等可能的，则事件A的概率定义为$P(A)=\frac{S_A}{S}=\frac{构成事件A的子区域的度量}{样本空间的度量}$

1.1.2.5 条件概率

设A, B是两个事件，且$P(B)>0$，称$P(A|B)=\frac{P(AB)}{P(B)}$为在事件B发生的条件下，事件A发生的条件概率(conditional probability)。

1.1.2.6 乘法公式、全概率公式、Bayes公式

乘法公式(multiplication formula) $P(AB)=P(A|B)P(B)=P(B|A)P(A)$

定义1.3如果事件组$B_1,B_2,\cdots$满足

1. $B_1,B_2,\cdots$两两互斥，即$B_i\cap B_j=\varphi ,i\ne j,i,j=1,2.\cdots$，且$P(B_i)>0,i=1,2,\cdots$。
2. $B_1\cup B_2\cup \cdots =\Omega$，则称事件组$B_1,B_2,\cdots$是样本空间$\Omega$的一个划分。

设$B_1,B_2,\cdots$是样本空间的一个划分，A为任一事件，则$P(A)=\sum _{i=1}^{\infty }P(B_i)P(A|B_i)$为全概率公式(formula of total probability)。

设$B_1,B_2,\cdots$是样本空间的一个划分，则对任一事件$A(P(A)>0)$，有$P(B_i|A)=\frac{P(B_{i}A)}{P(A)}=\frac{P(B_i)P(A|B_i)}{\sum _{j=1}^{\infty }P(B_j)P(A|B_j)},i=1,2,\cdots$，为贝叶斯公式(Bayes formula，其中$P(B_i)(i=1,2,\cdots )$为先验概率，$P(B_i|A)(i=1,2,\cdots )$为后验概率。

1.1.2.7 独立事件

如果两事件A，B的积事件发生的概率等于这两个事件的概率的乘积，即$P(AB)=P(A)P(B)$，则称事件A，B是相互独立的*(mutually independent)*。

性质若事件A， B相互独立，则$A$与$\overline{B}$，$\overline{A}$与$B$，$\overline{A}$与$\overline{B}$也相互独立。

1.1.2.8 n重Bernoulli 试验及其概率计算

如果一个随机试验只有两种可能结果$A,\overline{A}$，并且$P(A)=p,P(\overline{A})=1-p=q$，其中$0<p<1$，则称此试验为伯努利试验(Bernoulli trial)。Bernoulli试验独立重复进行n次，称为n重Bernoulli试验。

1.2 随机变量及其分布

1.2.1 随机变量的定义

定义1.4 设E是随机试验，$\Omega$是样本空间，如果对于每一个$\omega \in \Omega$，都有一个确定的实数$X(\omega )$与之对应，若对于任意实数$x\in R$，有 { ω : X ( ω ) < x } ∈ F \{\omega : X(\omega)<x\}\in F {ω:X(ω)<x}∈F，则称$\Omega$上的单值实函数$X(\omega )$为一个随机变量(random variable)。

1.2.2 随机变量的分布函数

定义1.5 设$X$是一个随机变量，对任意的实数$x$，令 F ( x ) = P { X ≤ x } , x ∈ ( − ∞ , + ∞ ) F(x)=P\{X \le x\}, x\in (-\infty, +\infty) F(x)=P{X≤x},x∈(−∞,+∞)，则称$F(x)$为随机变量$X$的分布函数(distribution function)，也称为概率累积函数(probability cumulative function)。

性质：

1. $0\le F(x)\le 1$;
2. $F(x)$是单调不减函数，即当$x_1<x_2$时，$F(x_1)\le F(x_2)$;
3. $F(-\infty )=\underset{x\to -\infty }{\lim }F(x)=0,F(+\infty )=\underset{x\to +\infty }{\lim }F(x)=1$;
4. $F(x)$是右连续函数，即$\underset{x\to x_0^{+}}{\lim }F(x)=F(x_0),\forall x_0\in R$均成立;
5. P { a < X ≤ b } = F ( b ) − F ( a ) P\{a<X\le b\} = F(b)-F(a) P{a<X≤b}=F(b)−F(a);
6. P { X > a } = 1 − P { X ≤ a } = 1 − F ( a ) P\{X>a\}=1-P\{X \le a\}=1-F(a) P{X>a}=1−P{X≤a}=1−F(a)。

1.2.3 离散型随机变量

定义1.6 如果随机变量$X$的全部可能取值只有有限多个或可列无穷多个，则称$X$为离散型随机变量。

定义1.7 对于离散型随机变量$X$可能取值为$x_k$的概率为 P { X = x k } = p k , k = 1 , 2 , ⋯ P\{X=x_k\}=p_k, k=1, 2, \cdots P{X=xk​}=pk​,k=1,2,⋯，则称此为离散型随机变量$X$的分布律。

性质：

1. $p_k\ge 0,k=1,2,\cdots$；
2. $\sum _{k=1}^{\infty }{p}_k=1$。

分布函数 F ( x ) = P { X ≤ x } = ∑ x k ≤ x P { X = x k } = ∑ x k ≤ x p k F(x)=P\{X\le x\} = \sum\limits_{x_k\le x}P\{X=x_k\} = \sum\limits_{x_k\le x}p_k F(x)=P{X≤x}=xk​≤x∑​P{X=xk​}=xk​≤x∑​pk​

常见的离散型分布

1.2.3.1 两点分布（0-1分布）

P { X = k } = p k ( 1 − p ) 1 − k , k = 0 , 1 , ( 0 < p < 1 ) P\{X=k\}=p^k(1-p)^{1-k}, k=0, 1, (0<p<1) P{X=k}=pk(1−p)1−k,k=0,1,(0<p<1)

$X\sim B(1,p)⟼F(x)=\{\begin{array}{ll}0,& x<0\\ 1-p,& 0\le x<1\\ 1,& x\ge 1\end{array}$

1.2.3.2 Bernoulli 分布（二项分布）

P { X = k } = C n k p k ( 1 − p ) n − k , k = 0 , 1 , ⋯   , n P\{X=k\}=C_n^k p^k(1-p)^{n-k}, k=0, 1, \cdots, n P{X=k}=Cnk​pk(1−p)n−k,k=0,1,⋯,n

$X\sim B(n,p)⟼F(x)=\sum _{k=0}^{└x┘}{C}_n^k{p}^k(1-p{)}^{n-k}$

1.2.3.3 Poisson 分布

P { X = k } = λ k e − λ k ! , k = 0 , 1 , 2 , ⋯ P\{X=k\}= \frac{\lambda^k e^{-\lambda}}{k!}, k=0, 1, 2, \cdots P{X=k}=k!λke−λ​,k=0,1,2,⋯

$X\sim P(\lambda )\Vert |X\sim \pi (\lambda )⟼F(x)=\sum _{k=0}^{└x┘}\frac{{\lambda }^k{e}^{-\lambda }}{k!}$

定理1.1Poisson 定理：在Bernoulli 实验中，以$p_n$代表事件$A$在试验中出现的概率，它与试验总数$n$有关，如$n{p}_n\to \lambda$，则当$n\to \infty$时，有$\underset{n\to \infty }{\lim }{C}_n^k{p}_n^k(1-p{)}^{n-k}=\frac{{\lambda }^k{e}^{-\lambda }}{k!}$。当$n$很大且$p_n$很小时，二项分布可以用Poisson分布来近似代替，即$C_n^k{p}_n^k(1-p{)}^{n-k}=\frac{{\lambda }^k{e}^{-\lambda }}{k!}$，其中$\lambda =n{p}_n$。

1.2.4 连续性随机变量

定义1.8 对于随机变量$X$，如果存在一个定义在$(-\infty ,+\infty )$上的非负函数$f(x)$，使得对于任意实数$x$，总有$F(x)=P{X \le x} = \int_{-\infty}^x f(t)dt, -\infty < x < +\infty $，则$X$称为连续型随机变量，$f(x)$为$X$的概率密度函数(probability density function，简称概率密度。

性质：

1. ${\int }_{-\infty }^{+\infty }f(x)dx=1$；
2. 对于任意的实数$a,b(a<b)$，都有 P { a < X ≤ b } = ∫ a b f ( x ) d x P\{a<X\le b\}=\int_{a}^bf(x)dx P{a<X≤b}=∫ab​f(x)dx；
3. 若$f(x)$在点$x$处连续，则$f(x)=F^{\prime }(x)$；
4. 对任意实数$a$，总有 P { X = a } = 0 P\{X=a\}=0 P{X=a}=0.

常见的连续性分布

1.2.4.1 均匀分布(uniform distribution)

$f(x)=\{\begin{array}{ll}\frac{1}{b-a},& a\le x\le b\\ 0,& others\end{array}$

$X\sim U[a,b]⟼F(x)=\{\begin{array}{ll}0,& x<a\\ \frac{x-a}{b-a},& a\le x<b\\ 1,& x\ge b\end{array}$

1.2.4.2 指数分布(exponential distributin)

$f(x)=\{\begin{array}{ll}\lambda e^{-\lambda x},& x\ge 0\\ 0,& x<0\end{array}$

$X服从参数为\lambda 的指数分布F(x)=\{\begin{array}{ll}1-e^{-\lambda x},& x\ge 0\\ 0,& x<0\end{array}$

1.2.4.3 正态分布(Gauss/normal distribution)

$f(x)=\frac{1}{\sqrt{2\pi \sigma }}exp\left\{-\frac{(x-\mu {)}^2}{2{\sigma }^2}\right\},-\infty <x<+\infty$

$X\sim N(\mu ,{\sigma }^2)⟼F(x)={\int }_{-\infty }^x{\frac{1}{\sqrt{2\pi \sigma }}}^{e^{-\frac{(t-\mu {)}^2}{2{\sigma }^2}}}dt=\Phi (\frac{x-\mu }{\sigma }),-\infty <x<+\infty$

1.2.4.4 随机变量的函数的分布

若随机变量$X$具有概率密度函数$f_X(x),-\infty <x<+\infty$，又设$g(x)$处处可导且$g^{\prime }(x)$不变号，则$Y=g(X)$是连续型随机变量，其概率密度函数为$f_Y(y)=\{\begin{array}{ll}{f}_X(h(y))|h^{\prime }(y)|,& \alpha <y<\beta \\ 0,& others\end{array}$，其中 α = m i n { g ( − ∞ ) , g ( ∞ ) } , β = m a x { g ( − ∞ ) , g ( ∞ ) } \alpha = min\{g(-\infty),g(\infty)\}, \beta = max\{g(-\infty),g(\infty)\} α=min{g(−∞),g(∞)},β=max{g(−∞),g(∞)}，$x=h(y)$为$y=g(x)$的反函数。

1.2.5 随机向量

定义1.9 如果$X$和$Y$是定义在同一概率空间KaTeX parse error: Undefined control sequence: \Digamma at position 10: (\Omega, \̲D̲i̲g̲a̲m̲m̲a̲, P)上的两个随机变量，$(X,Y)$称为二维随机向量(random vector)，并称$X$和$Y$是二维随机向量的两个分量。

定义1.10 设$\Omega$为样本空间，$X_1=X_1(\omega ),X_2=X_2(\omega ),\cdots .X_n=X_n(\omega )$是$\Omega$上的$n$个随机变量，则由它们构成的$n$维向量$(X_1,X_2,\cdots ,X_n)$称为$n$维随机向量(n-dimensional random vector)，称$X_i$为$X$的第$i$个分量。

定义1.11 设$(X,Y)$是定义在KaTeX parse error: Undefined control sequence: \Digamma at position 10: (\Omega, \̲D̲i̲g̲a̲m̲m̲a̲, P)上的随机向量，对任意的$(x,y)\in R^2$，二元函数 F ( x , y ) = P { ω : X ( ω ) ≤ x , y ( ω ) ≤ y } F(x,y) = P\{\omega: X(\omega)\le x, y(\omega)\le y \} F(x,y)=P{ω:X(ω)≤x,y(ω)≤y}称为$(X,Y)$的联合分布函数(joint distribution function)，其中 { X ≤ x , Y ≤ y } \{X\le x, Y\le y \} {X≤x,Y≤y}表示事件 { X ≤ x } \{X\le x\} {X≤x}与事件 { Y ≤ y } \{Y\le y\} {Y≤y}的积事件。

分布函数性质：

1. 对于任意固定的$y$，当$x_2>x_1$时，$F(x_2,y)\ge F(x_1,y)$。对于任意固定的$x$，当$y_2\ge y_1$时，$F(x,y_2)\ge F(x,y_1)$即$F(x,y)$对每个自变量是单调不减的。
2. $0\le F(x,y)\le 1$，且对于任意固定的$y$，$F(-\infty ,y)=0$。对于任意固定的$x$，$F(x,-\infty )=0,F(-\infty ,-\infty )=0,F(+\infty ,+\infty )=1$。
3. $F(x,y)=F(x+0,y),F(x,y)=F(x,y+0)$，即$F(x,y)$关于$x$右连续，也关于$y$右连续。
4. 对于任意$(x_1,y_1),(x_2,y_2),x_1<x_2,y_1<y_2$，下述不等式$F(x_2,y_2)-F(x_2,y_1)-F(x_1,y_2)+F(x_1,y_1)\ge 0$成立。
5. $\Rightarrow$随机点$(X,Y)$落在矩形域 { x 1 < x ≤ x 2 , y 1 < y ≤ y 2 } \{x_1<x\le x_2, y_1<y\le y_2 \} {x1​<x≤x2​,y1​<y≤y2​}内的概率为 P { x 1 < x ≤ x 2 , y 1 < y ≤ y 2 } = F ( x 2 , y 2 ) − F ( x 2 , y 1 ) − F ( x 1 , y 2 ) + F ( x 1 , y 1 ) P\{x_1<x\le x_2, y_1<y\le y_2 \} = F(x_2,y_2) - F(x_2,y_1) - F(x_1, y_2) + F(x_1,y_1) P{x1​<x≤x2​,y1​<y≤y2​}=F(x2​,y2​)−F(x2​,y1​)−F(x1​,y2​)+F(x1​,y1​)

定义1.12 如果二维随机向量$(X,Y)$的每个分量都是离散型随机变量，则称$(X,Y)$是二维离散型随机向量。

定义1.13 设二维离散型随机向量$(X,Y)$所有的可能取值为$(x_i,y_j),i=1,2,\cdots ,j=1,2,\cdots$的概率为： P { X = x i , Y = y j } = p i j , i , j = 1 , 2 , ⋯ P\{X=x_i,Y=y_j\}=p_{ij}, i,j=1,2,\cdots P{X=xi​,Y=yj​}=pij​,i,j=1,2,⋯，则称其为离散型随机向量$(X,Y)$的分布律(联合分布律) $⟺$(1)$p_{ij}\ge 0,i,j=1,2,\cdots$ ; (2)$\sum _i\sum _j{p}_{ij}=1$

离散型随机向量$(X,Y)$的分布函数为：$F(x,y)=\sum _{x_i\le x,y_i\le y}{p}_{ij},\forall x,y\in R$

定义1.14 如果对于二维随机向量$(X,Y)$的分布函数$F(x,y)$，存在非负的函数$f(x,y)$，使对于任意的$(x,y)$，有$F(x,y)={\int }_{-\infty }^y{\int }_{-\infty }^{x}f(u,v)dudv$，则称$(X,Y)$是连续型的二维随机向量，函数$f(x,y)$称为二维随机向量$(X,Y)$的概率密度函数。

性质

1. $F(x,y)\ge 0,\forall x,y\in R$
2. ${\int }_{-\infty }^y{\int }_{-\infty }^{x}f(x,y)dxdy=F(+\infty ,+\infty )=1$
3. 在$f(x,y)$ 的连续点处有$\frac{{\partial }^{2}F(x,y)}{\partial x\partial y}=f(x,y)$;
4. 随机点$(X,Y)$落在平面区域$G$内的概率为 P { ( X , Y ) ∈ G } = ∬ G f ( x , y ) d x d y P\{(X,Y)\in G\}=\iint\limits_G f(x,y)dxdy P{(X,Y)∈G}=G∬​f(x,y)dxdy

1.2.5.1 边缘分布

$X,Y$的**边缘分布函数(marginal distribution)**分别是：

F X ( x ) = P { X ≤ x } = P { X ≤ x , Y ≤ + ∞ } = F ( x , + ∞ ) F_X(x)=P\{X\le x\}=P\{X\le x, Y\le +\infty\}=F(x,+\infty) FX​(x)=P{X≤x}=P{X≤x,Y≤+∞}=F(x,+∞)

F Y ( y ) = P { Y ≤ y } = P { X ≤ + ∞ , Y ≤ y } = F ( + ∞ , y ) F_Y(y)=P\{Y\le y\}=P\{X\le +\infty, Y\le y\}=F(+\infty, y) FY​(y)=P{Y≤y}=P{X≤+∞,Y≤y}=F(+∞,y)

1.2.5.2 二维均匀分布

若$(X,Y)$ 具有如下概率密度函数$f(x,y)=\{\begin{array}{ll}\frac{1}{A},& (x,y)\in D\\ 0,& others\end{array}$，其中$A$为平面区域$D$的面积值，则称此二维连续型随机向量$(X,Y)$在区域内服从二维均匀分布。

1.2.5.3 二维正态分布

若$(X,Y)$ 具有如下概率密度函数

$f(x,y)=\frac{1}{2\pi {\sigma }_1{\sigma }_2\sqrt{1-{\rho }^2}}\cdot exp\{-\frac{1}{2(1-{\rho }^2)}[\frac{(x-{\mu }_1{)}^2}{{\sigma }_1^2}-2\rho \frac{(x-{\mu }_1)(y-{\mu }_2)}{{\sigma }_1{\sigma }_2}+\frac{y-{\mu }_2{)}^2}{{\sigma }_2^2}]\},-\infty <x<+\infty ,-\infty <y<+\infty$

其中${\mu }_1,{\mu }_2,{\sigma }_1>0,{\sigma }_2>0,\mid \rho \mid <1$为实数，则称此二维连续型随机向量$(X,Y)$服从参数为${\mu }_1,{\mu }_2,{\sigma }_1,{\sigma }_2,\rho$的二维正态分布，记作$(X,Y)\sim N({\mu }_1,{\mu }_2,{\sigma }_1^2,{\sigma }_2^2)$，同时称$(X,Y)$为二维正态随机向量。

1.3 随机变量的数字特征

1.3.1 数学期望$E(X)$

定义1.15 设离散型随机变量$X$的分布律为 P { X = x i } = p i , i = 1 , 2 , ⋯ P\{X=x_i \}=p_i, i=1,2,\cdots P{X=xi​}=pi​,i=1,2,⋯，若级数$\sum _i\mid x_i\mid p_i$收敛，则称级数$\sum _i{x}_i{p}_i$的和为随机变量$X$的数学期望(mathematical expectation)，记为$E(X)$，即$E(X)=\sum _i{x}_i{p}_i$

设连续型随机变量$X$的概率密度函数为$f(x)$，若积分${\int }_{-\infty }^{+\infty }\mid x\mid f(x)dx$收敛，则称积分${\int }_{-\infty }^{+\infty }xf(x)dx$的值为随机变量$X$的数学期望，记为$E(X)$，即$E(X)={\int }_{-\infty }^{+\infty }xf(x)dx$。$E(X)$又称为均值(mean)。

性质

1. 若$c$是常数，则$E(c)=c$；
2. $E(aX+bY)=aE(X)+bE(Y)$ ，其中$a,b$为任意常数；
3. 若$X,Y$相互独立，则$E(XY)=E(X)E(Y)$。

1.3.2 方差$Var(X)$

定义1.16 设$X$为随机变量，如果 E { [ X − E ( x ) ] 2 } E\{[X-E(x)]^2 \} E{[X−E(x)]2}存在，则称 E { [ X − E ( x ) ] 2 } E\{[X-E(x)]^2 \} E{[X−E(x)]2}为$X$的方差(variance)，记为$Var(X)$，即 V a r ( X ) = E { [ X − E ( x ) ] 2 } Var(X)=E\{[X-E(x)]^2 \} Var(X)=E{[X−E(x)]2}，并称$\sqrt{Var(X)}$为的标准差(standard deviation)或均方差(root mean square)。

性质：

1. 若$c$是常数，则$Var(X)=c$；
2. $Var(aX+b)=a^{2}Var(X)$ ，其中$a,b$为任意常数；
3. 若$X,Y$相互独立，则$Var(X+Y)=Var(X)+Var(Y)$。

$⟶Var(X)=E(X^2)-[E(X){]}^2$

X ~ B(1, p), E(X)=p, Var(X)=p(1-p)​

X ~ B(n, p), E(X)=np, Var(X)=np(1-p)

X ~ P($\lambda$), E(X)= $\lambda$, Var(X)=$\lambda$

X ~ U[a, b], E(X)=$\frac{a+b}{2}$, Var(X)=$\frac{(a+b{)}^2}{12}$

X ~ 指数分布, E(X)=$\frac{1}{\lambda }$, Var(X)=$\frac{1}{{\lambda }^2}$

X ~ N($\mu ,{\sigma }^2$), E(X)=$\mu$, Var(X)=${\sigma }^2$

1.3.3 协方差$Cov(X,Y)$和相关系数$\rho (X,Y)$

1.3.3.1 协方差

设$X,Y$为两个随机变量，称 E { [ X − E ( X ) ] [ Y − E ( Y ) ] } E\{[X-E(X)][Y-E(Y)] \} E{[X−E(X)][Y−E(Y)]}为$X,Y$的协方差(covariance)，记为$Cov(X,Y)$，即 C o v ( X , Y ) = E { [ X − E ( X ) ] [ Y − E ( Y ) ] } Cov(X,Y)=E\{[X-E(X)][Y-E(Y)] \} Cov(X,Y)=E{[X−E(X)][Y−E(Y)]}

性质：

1. $Cov(X,Y)=Cov(Y,X)$；
2. $Cov(aX+b,cY+d)=acCov(X,Y)$ ，其中$a,b,c,d$为任意常数；
3. $Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$；
4. $Cov(X.Y)=E(XY)-E(X)E(Y)$ ，特别地，当$X$和$Y$相互独立时，有$Cov(X,Y)=0$；
5. $\mid Cov(X,Y)\mid \le \sqrt{Var(X)}\sqrt{Var(Y)}$；
6. $Cov(X,X)=Var(X)$。

1.3.3.2 相关系数

当$Var(X)>0$，$Var(Y)>0$时，称$\rho (X,Y)=\frac{Cov(X,Y)}{\sqrt{Var(X)Var(Y)}}$为$X$与$Y$的相关系数(coefficient of correlation)，它是无量纲的量，其基本性质为：

1. $\mid \rho (X,Y)\mid \le 1$ ；$\mid \rho (X,Y)\mid =1$的充要条件为$X$与$Y$之间有线性关系，即存在常数$a,b(a\ne 0)$，使得 P { Y = a X + b } = 1 P\{Y=aX+b\}=1 P{Y=aX+b}=1。具体地，当$a>0$时，对应$\rho (X,Y)=1$；当$a<0$时，对应$\rho (X,Y)=-1$。
2. 若$X$与$Y$相互独立且$Var(X),Var(Y)$存在，则$\rho (X,Y)=0$；特别的，当$X$与$Y$均为正态分布时，$X$与$Y$相互独立的充要条件为$\rho (X,Y)=0$。

1.3.4 矩与协方差矩阵

1.3.4.1 矩

设随机变量$X$有分布函数$F(x)$，对任意给定的正整数$k$，若$E(\mid X{\mid }^k)$存在，则称${\alpha }_k=E(X^k)={\int }_{-\infty }^{+\infty }{x}^{k}dF(x)$为$X$的$k$阶原点矩(moment about origin)。对于$k>1$，若$E(\mid X{\mid }^k)$存在，则称${\mu }_k=E([X-E(X){]}^k)={\int }_{-\infty }^{+\infty })(x-E(X){)}^{k}dF(x)$为$X$的$k$阶中心矩(moment about centre)。

矩是广泛应用的一类数字特征，均值和方差分别是一阶原点矩和二阶中心矩。

设分布函数$F(x)$有中心矩${\mu }_2=E(X-E(X){)}^2,{\mu }_3=E(X-E(X){)}^3$，则$C_s={\mu }_3/{\mu }_2^{\frac{3}{2}}$称为偏度系数(coefficient of skewness)。

偏度系数是一个无量纲的量,它刻划分布函数的对称性.当$C_s>0$时，$F(x)$所表示的概率分布偏向均值的右侧，反之则偏向左侧.

设分布函数$F(x)$有中心矩${\mu }_2=E(X-E(X){)}^2,{\mu }_4=E(X-E(X){)}^4$，则$C_s={\mu }_4/{\mu }_2^{\frac{4}{2}}-3$称为峰度系数(kurtosis)。

峰度系数是一个无量纲的量，它刻划不同类型的分布的集中和分散程度。

设随机变量$X$有均值$\mu$和方差$\sigma$,则称$X^{\ast }=(X-\mu )/\sigma$为标准化随机变量。

1.3.4.2 协方差矩阵

设$X=(X_1,X_2,\cdots ,X_n)，Y=(Y_1,Y_2,\cdots ,Y_m)$为两个随机变量，则称$
Cov(X, Y)=(\sigma_{ij})_{n\times m}$为 $X$与$Y$的协方差阵(covariance matrix)，其中${\sigma }_{ij}=Cov(X_i,Y_j),i=1,2,\cdots ,n，j=1,2,\cdots ,m$ 。
性质:

1. $Cov(X,Y)=Cov(Y,X{)}^T$ ;
2. $Cov(AX+b,Y)=ACov(X,Y)$ ,其中$A$是矩阵,$b$是向量;
3. $Cov(X+Y,Z)=Cov(X,Z)+Cov(Y,Z)$ ;

设$X=(X_1,X_2,\cdots ,X_n)$为随机变量，则称$Var(X)=Cov(X,X)=({\sigma }_{ij}{)}_{n\times n}$为$X$的方差矩阵(variance matrix)，也称为方差–协方差矩阵(variance-covariance matrix),其${\sigma }_{ij}=Cov(X_i,X_j)，i,j=1,2,\cdots ,n$。
性质:

1. $Var(X)$半正定，即$\forall a\in R^n$,有$a^{T}Var(X)a\ge 0$ ;
2. $\forall a\in R^n$，有$Var(a^{T}X)=a^{T}Var(X)a$;
3. $\forall A\in R^{k\times n}$,有$Var(AX)=AVar(X)A^T$;
4. $Var(X)=0$的充分必要条件是:$\exists a\in R^n,c\in R^1$,使得$a^{T}X=c$ 。

$n$维正态随机向量性质：

1.3.4.3 相关矩阵

设$X=(X_1,X_2,\cdots ,X_n)$为随机变量，则称$Cor(X)=({\rho }_{ij}{)}_{n\times n}$为$X$的相关矩阵(correlation matrix)，其中$P_{ij}=Cor(X_i,X_j),i,j=1,2,\cdots ,n$

性质:

1. $Cor(X)$为对角线元素均为1的半正定对称矩阵;
2. 设$\sum =({\sigma }_{ij}{)}_{n\times n}$为方差矩阵，$D=diag({\sigma }_{11}^{\frac{1}{2}},{\sigma }_{22}^{\frac{1}{2}},\cdots ,{\sigma }_{nn}^{\frac{1}{2}})$，则$Cor(X)=D^{-1}\sum D^{-1}$。

1.4 大数定律与中心极限定理

1.4.1 大数定律

定义1.17 设$X_1,X_2,\cdots ,X_k,\cdots )$是随机变量序列且$E(X_k)$存在$(k=1,2,\cdots )$，令$Y_n=\frac{1}{n}\sum _{k=1}^n{X}_k$，若对于任意给定的$\epsilon >0$，有 lim ⁡ n → ∞ P { ∣ Y n − E ( Y n ) ∣ ≥ ε } = 0 \lim\limits_{n \rightarrow \infty} P\{\mid Y_n-E(Y_n)\mid\ge \varepsilon\}=0 n→∞lim​P{∣Yn​−E(Yn​)∣≥ε}=0，或 lim ⁡ n → ∞ P { ∣ Y n − E ( Y n ) ∣ ≥ ε } = 1 \lim\limits_{n \rightarrow \infty} P\{\mid Y_n-E(Y_n)\mid\ge \varepsilon\}=1 n→∞lim​P{∣Yn​−E(Yn​)∣≥ε}=1，则称随机变量序列 { X k } \{X_k\} {Xk​}服从大数定律。

1.4.1.1 Bernoulli 大数定律

设$n_A$是$n$次独立重复试验中事件$A$发生的次数,$p$是事件$A$在每次试验中发生的概率，则对于任意的正数$\epsilon >0$，有 lim ⁡ n → ∞ P { ∣ n A n ∣ < ε } \lim\limits_{n\rightarrow \infty}P\{\mid\frac{n_A}{n}\mid<\varepsilon \} n→∞lim​P{∣nnA​​∣<ε} 。
Bernoulli大数定律揭示了“频率稳定于概率”说法的实质。

1.4.1.2 Chebyshev（切比雪夫）大数定律

设随机变量$X_1,X_2,\cdots ,X_k,\cdots$相互独立，且具有相同的期望与方差:$E(X_k)=\mu ,Var(X_k)={\sigma }^2(k=1,2,\cdots )$，则对于任意的正数$\epsilon >0$，有 lim ⁡ n → ∞ P { ∣ Y n − μ ∣ < ε = 1 } \lim\limits_{n\rightarrow \infty}P\{\mid Y_n -\mu\mid<\varepsilon = 1 \} n→∞lim​P{∣Yn​−μ∣<ε=1} 。

1.4.1.3 Khintchin（辛钦）大数定律

设随机变量$X_1,X_2,\cdots ,X_k,\cdots$相互独立，服从相同的分布，且其期望$E(X_k)=\mu (k=1,2,\cdots )$，则对于任意的正数$\epsilon >0$,有 lim ⁡ n → ∞ P { ∣ Y n − μ ∣ < ε = 1 } \lim\limits_{n\rightarrow \infty}P\{\mid Y_n -\mu\mid<\varepsilon = 1 \} n→∞lim​P{∣Yn​−μ∣<ε=1} 。

若对随机变量序列$X_1,X_2,\cdots ,X_k,\cdots$ ,存在常数$a$，使得对于任意的正数$\epsilon >0$,有 lim ⁡ n → ∞ P { ∣ Y n − a ∣ < ε = 1 } \lim\limits_{n\rightarrow \infty}P\{\mid Y_n - a \mid<\varepsilon = 1 \} n→∞lim​P{∣Yn​−a∣<ε=1}或 lim ⁡ n → ∞ P { ∣ Y n − a ∣ ≥ ε = 0 } \lim\limits_{n\rightarrow \infty}P\{\mid Y_n - a \mid\ge\varepsilon = 0 \} n→∞lim​P{∣Yn​−a∣≥ε=0}成立，则称$X_n$依概率收敛于$a$,记作$X_n\stackrel{P}{\to }a$。

故上面的Chebyshev大数定律与Khintchin大数定律有$Y_n=\frac{1}{n}\sum _{i=1}^n{X}_i\stackrel{P}{\to }\mu$

定理1.2 Chebyshev不等式 设随机变量$X$具有期望$E(X)=\mu$，方差$Var(X)={\sigma }^2$，则对于任意$\epsilon >0$，有 P { ∣ X − μ ∣ ≥ ε } ≤ σ 2 ε 2 P\{\mid X-\mu\mid\ge\varepsilon \}\le\frac{\sigma^2}{\varepsilon^2} P{∣X−μ∣≥ε}≤ε2σ2​ 。

1.4.2 中心极限定理

定义1.18 凡是在一定条件下，断定随机变量序列$X_1,X_2,\cdots ,X_k,\cdots$的部分和$Y_n=\sum _{k=1}^n{X}_k$的极限分布为正态分布的定理，均称为中心极限定理。

1.4.2.1 独立同分布的中心极限定理

设随机变量$X_1,X_2,\cdots ,X_k,\cdots$相互独立，服从同一分布，并且具有期望和方差:$E(X_k)=\mu ,Var(X_k)={\sigma }^2>0,k=1,2,\cdots$ ，则随机变量$Y_n=\frac{\sum _{k=1}^n{X}_k-n\mu }{\sqrt{(}n)\sigma }$ 的分布函数$F_n(x)$收敛到标准正态分布函数，即对于任意实数$x$,有 lim ⁡ n → ∞ F n ( x ) = lim ⁡ n → ∞ P { Y n ≤ x } = Φ ( x ) \lim\limits_{n\rightarrow\infty} F_n(x)= \lim\limits_{n\rightarrow\infty}P\{Y_n\le x\}=\Phi(x) n→∞lim​Fn​(x)=n→∞lim​P{Yn​≤x}=Φ(x) ，其中$\Phi (x)=\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^x{e}^{-\frac{t^2}{2}}dt$ 。
从中心极限定理可知，当$n$足够大时，$Y_n$近似服从标准正态分布$N(0,1)$ 。

1.4.2.2 De Moivre-Laplace（棣莫佛-拉普拉斯）中心极限定理

设随机变量$X_1,X_2,\cdots ,X_k,\cdots$相互独立，并且服从参数为$p$的两点分布，则对于任意实数$c$,有$\underset{n\to \infty }{\lim }P\{\frac{\sum _{i=1}^n{X}_i-np}{\sqrt{np(1-p)}}\le x\}=\Phi (x)$ 。
$\sum _{t=1}^n{X}_i$服从二项分布$B(n,p)$。从 De Moivre-Laplace 中心极限定理可知，当$n$足够大时，$B(n,p)$近似于正态分布.它是独立同分布的中心极限定理的特殊情况。

1.5 数理统计的基本思想

1.5.1 总体、个体、简单随机样本

在数理统计中，称研究对象的全体为总体(population)，通常用一个随机变量表示总体．组成总体的每个基本单元叫个体(individuals).
从总体X中随机抽取一部分个体X1，X2，·，Xn,称X1，X2，·，Xn为取自X的容量为n的样本(sample).

若X1,X2,… ,X相互独立，且每个X;与X同分布，则称X1,X2,……… ,Xn为简单随机样本(simple random sample),简称样本.通常把n称为样本容量(samplesize).

值得注意的是，样本具有两重性，即当在一次具体地抽样后它是一组确定的数值．但在一般叙述中样本也是一组随机变量，因为抽样是随机的.今后，用X1,X2,…,Xn表示随机样本，它们取到的值记为1, 02,… , zn，称为样本观测值(sample value).

1.5.2 参数空间与分布族

1.5.3 统计量与抽样分布

定义1.19设X1,X2，,Xn是总体X的一个简单随机样本，T(Xi，X2，… ,Xn)为一个n元连续函数，且T中不含任何关于总体的未知参数，则称T(X1,X2，·…，Xn)为一个统计量(statistic)．称统计量的分布为抽样分布( samplingdistribution).

1.5.4 正态总体样本均值与样本方差的分布

1.6 参数估计

1.7 假设检验

1.9 线性回归与方差分析

1.10 正交试验设计

第 2 章 R语言基本用法

第 3 章 数据描述性分析

3.1描述统计量

3.1.1 位置的度量

均值

# 均值(mean)
mean(x, trim = 0, na.rm = FALSE)

顺序统计量

sort(x, partial = NULL, na.last = NA, decreasing = FALSE, method = c("shell", "quick"), index.return = FALSE)

中位数

3.1.2 分散程度的度量

3.1.3 分布形状的度量

3.2 数据的分布

3.3 R软件中的绘图命令

3.4 多元数据的数据特征与相关分析

3.5 多元数据的图表示方法

第 4 章 参数估计

4.1 点估计

4.2 估计量的优良性准则

4.3 区间估计

第 5 章 假设检验

5.1 假设检验的基本概念

5.2 重要的参数检验

5.3 若干重要的非参数检验

第 6 章 回归分析

6.1 一元线性回归

6.2 多元线性回归

第 7 章 方差分析

7.1 单因素方差分析

7.2 双因素方差分析

7.3 正交试验设计与方差分析

第 8 章 应用多元分析 Ⅰ

8.1 判别分析

8.2 聚类分析

8.3 主成分分析PCA

8.4 因子分析

8.5 典型相关分析

第 10 章 计算机模拟