概率与统计之四

$\text{概率与统计之四}$
文章为一些读书笔记，原书为机械工业出版社的《概率论导论》Joseph K.Blizstein和Jessica Hwang著，案例讲解和讲述证明是本书的一大特点，教给人们的不只是一些概率论的概念和公式，而是思考问题的思维方式和策略。不过就是书里的错印有点多，需要边看边改。
_(:з」∠)

一. 联合分布

1. 离散型联合分布

两个离散型随机变量联合形成的分布即为离散型联合分布。

2. 连续型联合分布

两个连续型随机变量联合形成的分布即为连续型联合分布，已经知道，在连续型分布中，求概率就是求曲线面积，那么对于连续型联合分布而言，求概率也就是求曲面的体积。也就是说连续型联合分布密度函数是一个二元函数，很多给定条件其实是去划分求二重积分的区域，在划定的区域对联合密度函数求二重积分，便得到了满足给定条件的概率，很多应用问题可以借此思想去处理。
比较不同速率的指数分布
$$\begin{array}{rl}& 令T_1,T_2独立服从指数分布:T_1\sim Expo({\lambda }_1),T_2\sim Expo({\lambda }_2)。求P(T_1<T_2)\\ & 这就好比比较两种不相干的产品的使用寿命，比如T_1是一台冰箱的使用寿命，T_2是一台电视的使用寿命\\ & 而{\lambda }_1和{\lambda }_2是两种家电单位时间内所更换的台数。而P(T_1<T_2)就是求一台新的冰箱比一台新的电视先出\\ & 现故障的概率。\\ & 首先，构造联合密度函数f_{X,Y}(x,y)=f_X(x)f_Y(y)={\lambda }_1{e}^{-{\lambda }_1{t}_1}{\lambda }_2{e}^{-{\lambda }_2{t}_2}\\ & 其次，确定积分区域，很显然t_2的取值为所有支撑[0,+\infty ]，而t_1根据条件只能是小于t_2即[0,t_2)，\\ & 若在直角坐标系中用X轴表示t_1值，Y轴表示t_2值，则积分区域为直线t_1=t_2直线左侧的所有区域\\ & 最后，进行积分计算P(T_1<T_2)={\int }_0^{+\infty }{\int }_0^{t_2}{\lambda }_1{e}^{-{\lambda }_1{t}_1}{\lambda }_2{e}^{-{\lambda }_2{t}_2}d{t}_{1}d{t}_2=\frac{{\lambda }_1}{{\lambda }_1+{\lambda }_2}\end{array}$$
柯西概率密度函数
$$\boxed{\begin{array}{rl}& 令X和Y独立同分布与N(0,1)，且T=\frac{X}{Y}，则T服从的分布便是柯西分布\\ & 若要求柯西分布的分布函数，\\ & 首先，要明确柯西分布是一个连续型分布，而不是联合分布。其次，先求累积函数再求密度函数\\ & 对于连续型分布的累积函数有F_T(t)=P(T\le t)=P(\frac{X}{Y}\le t)=P(\frac{X}{|Y|}\le t)，简单计算一下便知\frac{X}{Y}与\frac{X}{|Y|}的分布是一样\\ & 通过这个等式推到能进一步理解随机分布中随机变量T与分布函数中的自变量t的区别，对于分布而言T为宏观上的整个支撑，\\ & 而t则可以看做在对一个事件求取概率时，该事件所满足的条件\\ & 总之F_T(t)=P(\frac{X}{|Y|}\le t)=P(X\le t|Y|)={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{t|y|}\frac{1}{\sqrt{2\pi }}{e}^{-x^2/2}\frac{1}{\sqrt{2\pi }}{e}^{-y^2/2}dxdy这就把问题转化为随机变量X,Y所构成的\\ & 联合分布的条件区域的求积分的问题上来了，最后上式会化为F_T(t)=\sqrt{\frac{2}{\pi }}{\int }_0^{+\infty }{e}^{-y^2/2}\Phi (ty)dy，\Phi (x)为标准正态分布的概率累积函数\\ & 再求概率密度函数，略去期间的计算过程得f_T(t)=F_T^{{}^{\prime }}(t)=\frac{1}{\pi (1+t^2)}，t\in R,验证{\int }_{-\infty }^{+\infty }\frac{1}{1+t^2}dt=arctan(\infty )-arctan(-\infty )=\pi ⟹{\int }_{-\infty }^{+\infty }{f}_T(t)dt=1\\ & 所以所求概率密度函数是有效的\\ & 需要注意的是，虽然柯西分布曲线形似正态分布曲线，但柯西分布不存在期望，也不存在方差和更高阶的矩，因为E(T)={\int }_{-\infty }^{+\infty }\frac{t}{\pi (1+t^2)}dt是不收敛的\end{array}}$$

3. 混合分布

当X，Y两个随机变量中一个为离散变量一个为连续变量，两者就构成了一个混合分布。其本身并没有太难理解，只不过符号有点复杂，不要把离散的质量函数与连续的密度函数搞混，在应用方面最常用的当属$Beta分布和Gamma分布$，通过不断试验统计试验结果，来更新后验分布，从而生成最符合试验结果的目标值

4. 独立性

判 定 两 随 机 变 量 X , Y 是 否 相 互 独 立 { 相 互 独 立 { X , Y 的 条 件 函 数 中 不 存 在 彼 此 的 变 量 X ， Y 不 会 对 彼 此 的 取 值 范 围 产 生 约 束 各 随 机 变 量 的 条 件 分 布 与 边 缘 分 布 相 同 相 互 依 赖 { X , Y 的 条 件 函 数 中 存 在 彼 此 的 变 量 X ， Y 相 互 约 束 彼 此 的 取 值 范 围 各 随 机 变 量 的 条 件 分 布 与 边 缘 分 布 不 同 关 于 取 值 范 围 相 互 影 响 的 情 况 可 以 用 一 个 例 子 来 说 明 令 ( X , Y ) 是 正 方 形 区 域 { ( x , y ) : x , y ∈ [ 0 , 1 ] } 中 的 完 全 随 机 点 ， 且 f X , Y ( x , y ) = { 1 , x , y ∈ [ 0 , 1 ] 0 ， 其 他 区 域 很 明 显 X , Y 全 都 服 从 U n i f ( 0 , 1 ) , 且 两 者 是 相 互 独 立 的 f X , Y ( x , y ) = 1 成 立 的 取 值 范 围 对 于 X 来 说 是 [ 0 , 1 ] ， 对 于 Y 来 说 也 是 [ 0 , 1 ] , 并 不 会 因 为 双 方 的 取 值 变 化 对 彼 此 造 成 影 响 边 缘 函 数 f X ( x ) = 1 , f Y ( y ) = 1 ， 均 为 常 数 不 受 彼 此 变 量 影 响 再 令 ( X , Y ) 是 圆 形 区 域 { ( x , y ) : x 2 + y 2 ≤ 1 } 上 的 完 全 随 机 点 ， 且 f X , Y ( x , y ) = { 1 π , x 2 + y 2 ≤ 1 0 ， 其 他 区 域 在 这 个 分 布 中 X , Y 会 相 互 约 束 对 方 的 取 值 从 而 使 联 合 分 布 成 立 ， 所 以 两 者 是 相 互 依 赖 的 当 X = x 时 若 想 使 f X , Y ( x , y ) = 1 π 成 立 ， 则 Y 的 取 值 范 围 为 [ − 1 − x 2 , 1 − x 2 ] ， 是 受 X 的 取 值 影 响 的 f X ( x ) = 2 π 1 − x 2 , f Y ( y ) = 2 π 1 − y 2 , f Y ∣ X ( y ∣ x ) = 1 2 1 − x 2 ， 很 明 显 Y 的 条 件 函 数 中 存 在 x 变 量 ， 是 受 X 取 值 影 响 的 。 值 得 注 意 的 是 各 变 量 的 条 件 分 布 是 一 个 均 匀 分 布 ， 可 以 想 象 联 合 分 布 的 支 撑 区 域 图 形 为 一 圆 饼 状 立 体 ， 其 切 面 为 一 长 方 形 \begin{aligned} &判定两随机变量X,Y是否相互独立 \begin{cases} 相互独立 \begin{cases} X,Y的条件函数中\textcolor{blue}{不存在}彼此的变量\\ X，Y\textcolor{blue}{不会}对彼此的取值范围产生约束\\ 各随机变量的条件分布与边缘分布\textcolor{blue}{相同} \end{cases}\\ 相互依赖 \begin{cases} X,Y的条件函数中\textcolor{red}{存在}彼此的变量\\ X，Y\textcolor{red}{相互约束}彼此的取值范围\\ 各随机变量的条件分布与边缘分布\textcolor{red}{不同} \end{cases} \end{cases}\\ &关于取值范围相互影响的情况可以用一个例子来说明 \end{aligned}\\ \boxed{ \begin{aligned} &令(X,Y)是正方形区域\{ (x,y):x,y\in[0,1]\}\\ &中的完全随机点，且f_{X,Y}(x,y)= \begin{cases} 1,&x,y\in[0,1]\\ 0，&其他区域 \end{cases}\\ &很明显X,Y全都服从Unif(0,1),且两者是\textcolor{blue}{相互独立的}\\ &f_{X,Y}(x,y)=1成立的取值范围对于X来说是[0,1]，\\ &对于Y来说也是[0,1],并不会因为双方的取值变化对彼此造成影响\\ &边缘函数f_X(x)=1,f_Y(y)=1，均为常数不受彼此变量影响 \\ \\ \end{aligned} } \boxed{ \begin{aligned} &再令(X,Y)是圆形区域\{ (x,y):x^2+y^2\leq 1\}\\ &上的完全随机点，且f_{X,Y}(x,y)= \begin{cases} \frac{1}{\pi},&x^2+y^2\leq 1 \\ 0，&其他区域 \end{cases}\\ &在这个分布中X,Y会相互约束对方的取值从而使联合分布成立，所以两者是\textcolor{red}{相互依赖的}\\ &当X=x时若想使f_{X,Y}(x,y)=\frac{1}{\pi}成立，则Y的取值范围为[-\sqrt{1-x^2},\sqrt{1-x^2}]，是受X的取值影响的\\ &f_X(x)=\frac{2}{\pi}\sqrt{1-x^2},f_Y(y)=\frac{2}{\pi}\sqrt{1-y^2},f_{Y\vert X}(y\vert x)=\frac{1}{2\sqrt{1-x^2}}，很明显Y的条件函数中存在x变量，是受X取值影响的。\\ &\textcolor{red}{值得注意的是各变量的条件分布是一个均匀分布，可以想象联合分布的支撑区域图形为一圆饼状立体，其切面为一长方形} \end{aligned} } ​判定两随机变量X,Y是否相互独立⎩⎪⎪⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎪⎪⎧​相互独立⎩⎪⎨⎪⎧​X,Y的条件函数中不存在彼此的变量X，Y不会对彼此的取值范围产生约束各随机变量的条件分布与边缘分布相同​相互依赖⎩⎪⎨⎪⎧​X,Y的条件函数中存在彼此的变量X，Y相互约束彼此的取值范围各随机变量的条件分布与边缘分布不同​​关于取值范围相互影响的情况可以用一个例子来说明​​令(X,Y)是正方形区域{(x,y):x,y∈[0,1]}中的完全随机点，且fX,Y​(x,y)={1,0，​x,y∈[0,1]其他区域​很明显X,Y全都服从Unif(0,1),且两者是相互独立的fX,Y​(x,y)=1成立的取值范围对于X来说是[0,1]，对于Y来说也是[0,1],并不会因为双方的取值变化对彼此造成影响边缘函数fX​(x)=1,fY​(y)=1，均为常数不受彼此变量影响​​​再令(X,Y)是圆形区域{(x,y):x2+y2≤1}上的完全随机点，且fX,Y​(x,y)={π1​,0，​x2+y2≤1其他区域​在这个分布中X,Y会相互约束对方的取值从而使联合分布成立，所以两者是相互依赖的当X=x时若想使fX,Y​(x,y)=π1​成立，则Y的取值范围为[−1−x2 ​,1−x2 ​]，是受X的取值影响的fX​(x)=π2​1−x2 ​,fY​(y)=π2​1−y2 ​,fY∣X​(y∣x)=21−x2 ​1​，很明显Y的条件函数中存在x变量，是受X取值影响的。值得注意的是各变量的条件分布是一个均匀分布，可以想象联合分布的支撑区域图形为一圆饼状立体，其切面为一长方形​​

5. 贝叶斯准则的四种形式

	$Y$离散	$Y$连续
$X$离散	$P(Y=y|X=x)=\frac{P(X=x,Y=y)P(Y=y)}{P(X=x)}$	$f_Y(y|X=x)=\frac{P(X=x|Y=y)f_Y(y)}{P(X=x)}$
$X$连续	$P(Y=y|X=x)=\frac{f_X(x,Y=y)P(Y=y)}{f_X(x)}$	$f_{Y|X}(y|x)=\frac{f_{X|Y}(x,y)f_Y(y)}{f_X(x)}$

6. 全概率公式的四种形式

	$Y$离散	$Y$连续
$X$离散	$P(X=x)=\sum _{y}P(X=x|Y=y)P(Y=y)$	$P(X=x)={\int }_{-\infty }^{+\infty }P(X=x|Y=y)f_Y(y)dy$
$X$连续	$f_X(x)=\sum _y{f}_X(x|Y=y)P(Y=y)$	$f_X(x)={\int }_{-\infty }^{+\infty }{f}_{X|Y}(x|y)f_Y(y)dy$

7. 总结两个离散变量和两个连续变量两种联合分布

	两个离散型随机变量序列	两个连续型随机变量序列
联合累积分布函数	$F_{X,Y}(x,y)=P(X\le x,Y\le y)$	$F_{X,Y}(x,y)=P(X\le x,Y\le y)$
联合概率质量函数（密度函数）	$\begin{array}{rl}& P(X=x,Y=y)\\ & 联合概率质量函数是非负的，且和等于1\\ & \sum _x\sum _{y}P(X=x,Y=y)=1\end{array}$	$\begin{array}{rl}& f_{X,Y}(x,y)=\frac{{\partial }^2}{\partial x\partial y}{F}_{X,Y}(x,y)\\ & 联合概率密度函数是非负的，且积分为1\\ & {\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }{f}_{X,Y}(x,y)dxdy=1\end{array}$
边缘概率质量函数（密度函数）	$\begin{array}{rl}P(X=x)& =\sum _{y}P(X=x,Y=y)\\ & =\sum _{y}P(X=x|Y=y)P(Y=y)\end{array}$	$\begin{array}{rl}{f}_X(x)& ={\int }_{-\infty }^{+\infty }{f}_{X,Y}(x,y)dy\\ & ={\int }_{-\infty }^{+\infty }{f}_{X|Y}(x|y)f_Y(y)dy\end{array}$
条件概率质量函数（密度函数）	$\begin{array}{rl}P(Y=y|X=x)& =\frac{P(X=x,Y=y)}{P(X=x)}\\ & =\frac{P(X=x,Y=y)P(Y=y)}{P(X=x)}\end{array}$	$\begin{array}{rl}{f}_{Y|X}(y|x)& =\frac{f_{X,Y}(x,y)}{f_X(x)}\\ & =\frac{f_{X|Y}(x,y)f_Y(y)}{f_X(x)}\end{array}$
独立性	对 于 所 有 的 x 和 y P ( X ≤ x , Y ≤ y ) = P ( X ≤ x ) P ( Y ≤ y ) P ( X = x , Y = y ) = P ( X = x ) P ( Y = y ) 对 于 所 有 的 x 和 y , P ( X = x ) > 0 , P ( Y = y ) > 0 条 件 质 量 函 数 等 于 边 缘 质 量 函 数 P ( Y = y ∣ X = x ) = P ( Y = y ) P ( X = x ∣ Y = y ) = P ( X = x ) \begin{aligned} &对于所有的x和y\\ &P(X\leq x,Y \leq y)=P(X\leq x)P(Y \leq y)\\ &P(X=x,Y=y)=P(X=x)P(Y=y)\\&对于所有的x和y,P(X=x)>0 ,P(Y=y)>0\\&\textcolor{blue}{条件质量函数等于边缘质量函数}\\&P(Y=y\vert X=x)=P(Y=y)\\&P(X=x\vert Y=y)=P(X=x)\end{aligned} ​对于所有的x和yP(X≤x,Y≤y)=P(X≤x)P(Y≤y)P(X=x,Y=y)=P(X=x)P(Y=y)对于所有的x和y,P(X=x)>0,P(Y=y)>0条件质量函数等于边缘质量函数P(Y=y∣X=x)=P(Y=y)P(X=x∣Y=y)=P(X=x)​	对 于 所 有 的 x 和 y P ( X ≤ x , Y ≤ y ) = P ( X ≤ x ) P ( Y ≤ y ) f X , Y ( x , y ) = f X ( x ) f Y ( y ) 对 于 所 有 的 x 和 y , f X ( X ) > 0 , f Y ( Y ) > 0 ， 条 件 密 度 函 数 等 于 边 缘 密 度 函 数 f Y ∣ X ( y ∣ x ) = f Y ( y ) f X ∣ Y ( x ∣ y ) = f X ( x ) \begin{aligned} &对于所有的x和y\\ &P(X\leq x,Y \leq y)=P(X\leq x)P(Y \leq y)\\ &f_{X,Y}(x,y)=f_X(x)f_Y(y)\\&对于所有的x和y,f_X(X)>0 ,f_Y(Y)>0，\\&\textcolor{blue}{条件密度函数等于边缘密度函数}\\&f_{Y\vert X}(y\vert x)=f_Y(y)\\&f_{X\vert Y}(x\vert y)=f_X(x)\end{aligned} ​对于所有的x和yP(X≤x,Y≤y)=P(X≤x)P(Y≤y)fX,Y​(x,y)=fX​(x)fY​(y)对于所有的x和y,fX​(X)>0,fY​(Y)>0，条件密度函数等于边缘密度函数fY∣X​(y∣x)=fY​(y)fX∣Y​(x∣y)=fX​(x)​
LOTUS	$E(g(X,Y))=\sum _x\sum _{y}g(x,y)P(X=x,Y=y)$	$E(g(X,Y))={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }g(x,y)f_{X,Y}(x,y)dxdy$

$$\begin{gathered} 注意的是联合函数=Y的条件函数\cdot X的边缘函数这对于任何联合分布都是适用的，而在独立性条件下， \\ 由于条件函数与边缘函数相等,于是联合函数=X的边缘函数\cdot Y的边缘函数才成立 \end{gathered}$$

8. 二维LOTUS

1). 两个均与随机变量间的期望距离

1. 对于$X,Y\stackrel{i.i.d}{\sim }Unif(0,1),E(|X-Y|)=\frac{1}{3}$
2. 对于$X,Y\stackrel{i.i.d}{\sim }Unif(0,1),M=max(X,Y)和L=min(X,Y),E(M+L)=E(X+Y)=1$
3. 对于$X,Y\stackrel{i.i.d}{\sim }Unif(0,1),M=max(X,Y)和L=min(X,Y),E(M-L)=E(|X-Y|)=1/3$

2). 两各正态随机变量间的期望距离

对于$X,Y\stackrel{i.i.d}{\sim }N(0,1),E(|X-Y|)=\frac{2}{\sqrt{\pi }}$

9. 协方差与相关系数

1). 协方差

两个相互独立的随机变量函数乘积的期望
$$\begin{gathered} 如果两个连续型随机变量X，Y相互独立，那么对于两个函数的任何连续函数h和g， \\ E[g(X)h(Y)]=E[g(X)]E[h(Y)]，这一等式是非常重要的，是使用协方差判定两个随机变量是否相关的关键 \end{gathered}$$

$$\begin{gathered} 证明： \\ 设X，Y为相互独立的连续型随机变量，联合密度函数为f_{X,Y}(X,Y)，于是有 \end{gathered}$$
$$\begin{array}{rl}E[g(X)h(Y)]& ={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }g(x)h(y)f_{X,Y}(x,y)dxdy\\ & ={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }g(x)h(y)f_X(x)f_Y(y)dxdy根据独立性，条件分布等于边缘分布\\ & ={\int }_{-\infty }^{+\infty }h(y)f_Y(y)dy{\int }_{-\infty }^{+\infty }g(x)f_X(x)dx\\ & =E[h(Y)]E[g(X)]\end{array}$$

协方差的性质

协方差度量了两个随机变量序列相对于期期望质的变化趋势
随机变量序列$X$和$Y$之间的协方差为$Cov(X,Y)=E((X-EX)(Y-EY))=E(XY)-E(X)E(Y)$

1. 协方差为正，则$X$和$Y$正相关，即一个变量值增大另一个也随之增大
2. 协方差为负，则$X$和$Y$负相关，即一个变量值增大则另一个也随之减小
3. 协方差为零，则$X$和$Y$不相关。但要注意的是这里的不相关只是线性层面上的不相关，也有可能存在协方差为零，但俩变量非线性层面上相关
4. 相互独立是不相关更高一层面的概念，也就是说$$\{\begin{array}{ll}随机变量相互独立& \Rightarrow 随机变量不相关\\ 随机变量不相关& \nRightarrow 随机变量相互独立\end{array}$$
5. 关于相互独立和不相关的关系有一个特例，那便是多元正态分布。对于服从多元正态分布的随机向量而言，$其中两个子向量不相关=相互独立$
6. $如果X与Y相互独立，则由E(XY)=E(X)E(Y)得Cov(X,Y)=E(XY)-E(X)E(Y)=0$

$$\begin{array}{rl}& Cov(X,X)=Var(X)\\ & Cov(X,Y)=Cov(Y,X)\\ & Cov(X,c)=0,c为常数\\ & Cov(aX,Y)=aCov(X,Y)\\ & Cov(X+Y,Z)=Cov(X,Z)+Cov(Y,Z)\\ & Cov(X+Y,Z+W)=Cov(X,Z)+Cov(X,W)+Cov(Y,Z)+Cov(Y,W)类似于矩阵运算性质\\ & Var(X_1+\cdots +X_n)=Var(X_1)+\cdots +Var(X_n)+2\sum _{i<j}Cov(X_i,X_j)\stackrel{所有随机变量相互独立}{\Rightarrow }Var(X_1+\cdots +X_n)=Var(X_1)+\cdots +Var(X_n)\\ & 设Z=a+bX,W=c+dY,则Cov(Z,W)=Cov(a,c)+Cov(a,dY)+Cov(bX,c)+Cov(bX,dY)=bdCov(X,Y),\\ & 于是很明显Cov(Z,W)的符号，由bd的乘积决定，如果bd>0则Cov(Z,W)的正负与Cov(X,Y)相同，如果bd<0则与Cov(X,Y)相反\end{array}$$

样本数据的方差与协方差

$$\begin{gathered} 设x与y为两个样本数据向量，\overline{x}与\overline{y}为俩向量均值，n为它们的向量大小，两个去均值向量为， \\ {d}_1=(x_1-\overline{x},\dots ,x_n-\overline{x}),d_2=(y_1-\overline{y},\dots ,y_n-\overline{y}) \end{gathered}$$
$$\begin{array}{rl}方差& \{\begin{array}{ll}从最大似然解出发：& Var(x)=\frac{1}{n}\cdot d_1^T{d}_1，Var(y)=\frac{1}{n}\cdot d_2^T{d}_2，\\ 从无偏估计出发：& Var(x)=\frac{1}{n-1}\cdot d_1^T{d}_1，Var(y)=\frac{1}{n-1}\cdot d_2^T{d}_2\end{array}\\ 协方差& \{\begin{array}{ll}从最大似然解出发：& Cov(x,y)=\frac{1}{n}\cdot d_1^T{d}_2\\ 从无偏估计出发：& Cov(x,y)=\frac{1}{n-1}\cdot d_1^T{d}_2\end{array}\end{array}$$

2). 相关系数

无量纲方差的更为容易的表述方式是相关系数，简单来说就是消去协方差的单位，固定方差的取值范围，以便于结果观察
随机变量序列$X$和$Y$的相关系数为$Corr(X,Y)=\frac{Cov(X,Y)}{\sqrt{Var(X)Var(Y)}}$，并且在$Var(X)=0或Var(Y)=0$的退化情况下无定义
样本数据的相关系数
对于样本数据向量$X$和$Y$而言，它们的相关系数便是去均值向量的单位向量的内积
$$\begin{array}{rl}& 设x与y为两个样本数据向量，\overline{x}与\overline{y}为俩向量均值，\\ & 则d_1=(x_1-\overline{x},\dots ,x_n-\overline{x}),d_2=(y_1-\overline{y},\dots ,y_n-\overline{y})，同时u_1=\frac{d_1}{||d_1||},u_2=\frac{d_2}{||d_2||},\\ & Corr(x,y)=u_1^T{u}_2=\frac{d_1^T{d}_2}{||d_1||||d_2||}=cos\theta \theta 为x与y之间的夹角\end{array}$$

这里顺便说一下无放回抽样超几何分布的方差和放回抽样二项分布的方差之间的联系

1. $$\begin{gathered} 已知X\sim HGeom(w,b,n)且Var(X)=\frac{N-n}{N-1}np(1-p)，Y\sim Bin(n,p)且Var(Y)=np(1-p)， \\ N为总数，n为抽样次数 \end{gathered}$$
2. $很明显在有限次的抽样时只要总数N足够大即\underset{N\to \infty }{\lim }\frac{N-n}{N-1}=1那么Var(X)\to np(1-p)=Var(Y)$
3. 从直观上考虑只要样本总数足够大，每次抽出一个样本的话对于下一次样本抽取的概率几乎没有影响，那么无放回抽样就会近似于放回抽样

10. 多项式分布

简单来说多项式分布其实就是进行了多次的二项划分所得到的的分布
$$\begin{gathered} 设有n个对象和k个类别，每个对象都独立的属于其中的一种类别。某对象属于第j类的概率为p_j,其中p_j\ge 0, \\ 且\sum _{j=1}^k{p}_j=1。令X_1为类别1中的对象数目，X_2为类别2中对象数目，其余以此类推，因此X_1+\cdots +X_k=n， \\ 则X=(X_1,\dots ,X_k)服从参数为n和p=(p_1,\dots p_k)的多项式分布。记作X\sim Mul{t}_k(n,p) \end{gathered}$$

1. $$\begin{gathered} 多项式分布的联合概率质量函数, \\ P(X_1=n_1,\cdots ,X_k=n_k)=\frac{n!}{n_1!n_2!\cdots n_k!}\cdot p_1^{n_1}{p}_2^{n_2}\cdots p_k^{n_k}(n_1+n_2+\cdots +n_k=n) \\ 其中\frac{n!}{n_1!n_2!\cdots n_k!}为满足分类条件的所有可能的取样方法，这是不考虑顺序的取样 \end{gathered}$$
2. $$\begin{gathered} 系数的解释,关于\frac{n!}{n_1!n_2!\cdots n_k!}的求法大致分两种, \\ 一，组合数计算法，这是最直观的算法，从n中取n_1个数那么组合数为\left(\genfrac{}{}{0ex}{}{n}{n_1}\right)，n中取出n_1个数后再从剩余 \\ (n-n_1)个数中取出n_2个数，其组合数为\left(\genfrac{}{}{0ex}{}{n-n_1}{n_2}\right)，再从剩余(n-n_1-n_2)中取出n_3，组合数为 \\ \left(\genfrac{}{}{0ex}{}{n-n_1-n_2}{n_3}\right)，依次类推直到最后一次取出n_k的组合为\left(\genfrac{}{}{0ex}{}{n-n_1-n_2-\cdots -n_{k-1}}{n_k}\right)，将全部组合数乘起来可得 \\ \frac{n!}{n_1!(n-n_1)!}\cdot \frac{(n-n_1)!}{n_2!(n-n_1-n_2)!}\cdot \cdots \cdot \frac{(n-n_1-n_2-\cdots -n_{k-2})!}{n_{k-1}!(n-n_1-n_2-\cdots -n_{k-2}-n_{k-1})!}\cdot \frac{(n-n_1-n_2-\cdots -n_{k-2}-n_{k-1})!}{n_k!(n-n_1-n_2-\cdots -n_{k-2}-n_{k-1}-n_k)!}\stackrel{约分}{=}\frac{n!}{n_1!n_2!\cdots n_k!} \\ 二，重组排序法，这种办法类似于对一行字母"STATISTICS"进行重新排序总共能得到多少种不同的排序一样， \\ 把字母排开就相当于把n个对象排开，字母所显示的信息就是对每个对象所分配的类别，比如说5个对象，3个种类， \\ 其中X_1=3,X_2=2,X_3=1，那么排列可以是k_1{k}_2{k}_3{k}_1{k}_2{k}_1，也可以是k_1{k}_1{k}_2{k}_1{k}_2{k}_3，这些所有可能的排序种类 \\ 便是分类条件下的所有可能的取样方法数为\frac{5!}{3!2!1!}=10，分母为所有可能的排序数目，分子每一个n_j为每一 \\ 类别对象的重复排序数目 \end{gathered}$$
3. $$\begin{gathered} 多项式边缘分布,若X\sim Mul{t}_k(n,p)，则X_j\sim Bin(n,p_j),其实这很好理解， \\ 就是在第j个类别中分到的对象数目所服从的分布，那么只关注j类的话，样本只会被分为两类， \\ 分到j中的和没有分到j中的，这很明显是服从二项式分布的 \end{gathered}$$
4. $多项式随机变量的合并，(X_1+X_2,X_3,\cdots ,X_k)\sim Mul{t}_{k-1}(n,(p_1+p_2,p_3,\cdots ,p_n))$
5. $$\begin{gathered} 多项式随机变量的条件概率，给定类别1中有n_1个对象，则其余的对象落入类别2至k其中一个类别j的概率为 \\ P(在类别j中|不在类别1中)=\frac{P(在类别j中,不在类别1中)}{P(不在类别1中)}=\frac{p_j}{p_2+\cdots p_k} \end{gathered}$$
6. $多项式条件分布，若X\sim Mul{t}_k(n,p)，则(X_2,\cdots ,X_k)|X_1=n_1\sim Mul{t}_{k-1}((n-n_1),(p_2^{{}^{\prime }},\cdots ,p_k^{{}^{\prime }})),其中p_j^{{}^{\prime }}=p_j/(p_2+\cdots +p_k)$
7. $多项式中的协方差，令(X_1,\cdots X_k)\sim Mul{t}_k(n,p),其中p=(p_1,\dots p_k)，则当i\ne j时，Cov(X_i,X_j)=-n{p}_i{p}_j，是负相关$，这个其实也挺好理解分配到$X_i$中的对象增多，那么可能分配到$X_j$中的对象数就会减少
   关于多项式条件分布的直观说明，这就像有100个小球会分别独立随机蹦到10个瓶子里中的一个，而当你故意忽视掉第一个瓶子，只观察剩余九个瓶子的时候，那么小球蹦入这九个瓶子的概率在该条件下就会改变重新归一化

11. 多元正态分布

$$\begin{gathered} 一个随机向量X=(X_1,\cdots X_k)被称为服从多元正态分布，如果X_j的任意线性组合都服从正态分布，也就是说要求 \\ {t}_1{X}_1+\cdots t_k{X}_k对于任何常数t_1,\cdots t_k都服从正态分布，特别的是如果t_1{X}_1+\cdots t_k{X}_k是一个常数比如0， \\ 那么认为它服从正态分布，属于方差为0的退化正态分布 \end{gathered}$$
需要注意的几点

1. 明确多元中元数的定义，元数只等于随机向量中元素的个数，比如会有$(X,X+Y,Y-Z)$这种向量，虽然元素中存在变量计算，但总元素不变依然是3个，所以这个随机向量服从的是三元正态分布
2. 随机向量中的变量之间是否独立没有要求，只需要他们的线性组合服从正态分布即可
3. 若$(X_1,\cdots X_k)$服从多元正态分布，则随机向量中的任一元素$X_j$的边缘分布也是正态分布，其实也就是$t_j$之外其他系数全是0的组合结果，同理也可以推导出其子向量也服从多元正态分布
4. 边缘分布服从正态分布的几个随机变量组成的随机向量，却不一定服从多元正态分布，也就是说几个正态分布变量的线性组合不一定服从正态分布
5. 由于独立正态随机变量的和一定服从正态分布，所以由独立正态随机变量所构成的随机向量一定服从多元正态分布
6. 作为5项的延伸，元素是独立正态随机变量线性组合的随机向量同样服从多元正态分布，比如若$X,Y\stackrel{i.i.d}{\sim }N(0,1)$
   则$(X+2Y,3X+5Y)$服从二元正态分布
7. 若$X=(X_1\cdots ,X_n)$和$Y=(Y_1\cdots ,Y_m)$均是多元正态随机向量，且$X$与$Y$相互独立，则级联随机向量$W=(X_1\cdots ,X_n，Y_1\cdots ,Y_m)$同样服从多元正态分布
8. 若$X\sim N({\mu }_1,{\sigma }_1^2),Y\sim N({\mu }_2,{\sigma }_2^2)$，且两随机变量相互独立，则$f_{X,Y}(x,y)=\frac{1}{2\pi {\sigma }_1{\sigma }_2}{e}^{-\frac{(x-{\mu }_1{)}^2}{2{\sigma }_1^2}-\frac{(y-{\mu }_2{)}^2}{2{\sigma }_2^2}}$
9. 若$X\sim N(0,1),Y\sim N(0,1)$，且两随机变量相互独立，则$f_{X,Y}(x,y)=\frac{1}{2\pi }{e}^{-\frac{x^2+y^2}{2}}$
10. 对于二元正态随机向量$(X,Y)$，如果一已知它的边缘分布为$N(0,1)$，相关系数$\rho \in (-1,1)，\tau =\sqrt{1-{\rho }^2}$，则其联合概率密度函数为$f_{X,Y}(x,y)=\frac{1}{2\pi \tau }{e}^{-\frac{x^2+y^2-2\rho xy}{2{\tau }^2}}$
11. $$\begin{gathered} 对于n元正态分布随机向量X=(X_1,X_2,\cdots X_n)，其中E(X_j)={\mu }_j,Var(X_j)={\sigma }_j^2 \\ 该随机向量的联合密度函数的定义式为f_X(x=(x_1{,}_{\cdots }{x}_n))=\frac{1}{(2\pi {)}^{n/2}|\Sigma {|}^{1/2}}{e}^{-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )} \\ 式中所有向量默认为列向量，T为转置符号， \\ \mu 为均值向量即\mu =({\mu }_1,\cdots ,{\mu }_n{)}^T,x-\mu =(x_1-{\mu }_1,x_2-{\mu }_2,\cdots ,x_n-{\mu }_n{)}^T \\ \Sigma 为协方差矩阵，|\Sigma |是矩阵的行列式,{\Sigma }^{-1}是\Sigma 的逆矩阵 \\ 其中\Sigma =\left\{\begin{array}{cccc}Cov(X_1,X_1)& Cov(X_1,X_2)& \cdots & Cov(X_1,X_n)\\ Cov(X_2,X_1)& Cov(X_2,X_2)& \cdots & Cov(X_2,X_n)\\ ⋮& ⋮& \ddots & ⋮\\ Cov(X_n,X_1)& Cov(X_n,X_2)& \cdots & Cov(X_n,X_n)\end{array}\right\} \\ 若随机向量中的所有分量互相独立，则\Sigma =\left\{\begin{array}{cccc}{\sigma }_1^2& 0& \cdots & 0\\ 0& {\sigma }_2^2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\sigma }_n^2\end{array}\right\} \end{gathered}$$
12. $正态分布独有特征1:$一般来说俩变量不相关无法得出相互独立，随机变量可以是不相关但非独立的。但对于一个服从二元正态分布的随机向量中的分量X,Y的而言，不相关意味着相互独立，也就是说，若$X$服从多元正态分布，$X=(X_1,X_2)$，其中$X_1$和$X_2$是子向量，且$X_1$的每一个分量与$X_2$的任意分量都不相关，则$X_1$和$X_2$是相互独立的，该性质引申到二元以上的多元正态分布随机向量同样成立
13. $正态分布独有特征2:$若$X_1,\cdots X_n$独立同分布于$N(\mu ,{\sigma }^2)，且n\ge 2$，则样本均值与样本方差是相互独立的，$X_j$若服从任何其他分布，该命题将会不成立
14. $二元正态随机数的生成:$假设已知独立同分布的随机变量序列$X,Y\sim N(0,1)$，如果希望生成一个二元正态随机向量$(Z,W)$。那么可以使用如下形式的$(Z,W)$，$\{\begin{array}{ll}& Z=X\\ & W=\rho X+\sqrt{1-{\rho }^2}Y\end{array}\rho =Corr(Z,W)也就是相关系数$
    如此可以通过调整$\rho$的取值变化，从而获得希望的相关系数的二元正态随机向量。
    $$\begin{gathered} 该联立式的意义在于使用两个独立的最基本的正态分布变量来生成一个指定的二元正态随机向量， \\ 向量中元素之间的相关系数是可以自定的，边缘分布是标准正态分布N(0,1) \end{gathered}$$
15. $联合矩母函数：$一个多元正态随机向量的联合矩母函数$(X_1,\cdots ,X_k)$的联合矩母函数为
    $E(e^{t_1{X}_1+\cdots +t_k{X}_k})=exp(t_{1}E(X_1)+\cdots +t_{k}E(X_k)+\frac{1}{2}Var(t_1{X}_1+\cdots +t_k{X}_k))$

以下为根据10条中的二元正态分布的联合密度函数所画的三种相关系数下的二元函数图形以及它的等量线

$$\rho =0，即两个正态分布变量相互独立$$

$$\rho =0.75，即两个正态分布变量相互正相关$$

$$\rho =-0.75，即两个正态分布变量相互负相关$$