机敏问答[概率][1] #20210618

---

本专栏主要作个人复习自测，有相关知识预备的同学也可作复习用。不保证无相应基础的人士能看明白。
万一考试考到了，或者对你的学习有较大帮助，一键三连不过分吧（斜眼笑）

期望：例题

0. Polya坛子：初始$b$黑$r$红，每次摸到球之后加入$c$个同色球，定义随机变量$Y_n$表示第$n$轮后黑球占比，证明$E{Y}_n$和$n$无关。为什么要考虑条件期望？
1. 如果每次摸到黑球之后只以$p$概率加黑球，否则加红球，则0.发生什么变化？
2. 如果1.中机制保留，并且摸到红球时也只以$p$概率加红球，否则加黑球，那怎么办？
3. $U_i\sim U(0,1)$独立同分布，为了求 X a = i n f { n ∣ U 1 + ⋯ + U n ≥ a } X_a=inf\{n|U_1+\cdots+U_n\ge a\} Xa​=inf{n∣U1​+⋯+Un​≥a}，把$X_a$改写为 1 { U 1 ≥ a } + 1_{\{U_1\ge a\}}+ 1{U1​≥a}​+（），再利用重期望公式，让上式中（）取一系列确定值。

答案

0. 条件期望好算，$E(Y_{n+1}|Y_n=y)=y$
1. $E(Y_{n+1}|Y_n=y)=\frac{(b+r+nc)y+y(1-p)c}{b+r+nc+c}$，类似于“指数衰减”（放缩一下）
2. 数列题
3. 1 { U 1 < a } ( 1 + X ^ a − U 1 ) 1_{\{U_1< a\}}(1+ \hat X_{a-U_1}) 1{U1​<a}​(1+X^a−U1​​)（注：这里${\hat{X}}_a$和$X_a$分布相同），$U_1$

方差

0. 怎么用原点矩表示方差？
1. 参考0.，则“方差发散”一词表示矩满足什么？（提示：此时期望不能发散）方差为0表示随机变量是什么？
2. 叙述线性变换对方差的影响、标准化，并针对$X\sim B(n,p)$举例。
3. 示性函数之和的方差怎么求？对于两两独立的特殊情况呢？
4. 考察形如$EX(X-1)$求泊松分布的$E{X}^2$，直接说出$P(\lambda )$的方差。根据定义求$U(a,b)$的方差。
5. 切比雪夫不等式的本质是放缩成柱形区域，柱的底面积和高度分别是什么？
6. 用方差、协方差表示和的方差，阐述对无关的随机变量由此有什么结论。

答案

0. $E{X}^2-(EX{)}^2$
1. 二阶原点矩$E{X}^2$发散，但$E|X|<\infty$. $X$以概率1等于$EX$（注：首先$EX$存在显然，然后考察可数个零概率事件即可）
2. $var(aX+b)=a^{2}var(X)$，$X^{\ast }=(X-\mu )/\sigma$，$X^{\ast }=\frac{X-np}{\sqrt{npq}}$
3. 略
4. ${\lambda }^2+\lambda$，$\lambda$，$(b-a{)}^2/12$
5. 略
6. $var(X+Y)=var(X)+var(Y)+2cov(X,Y)$，和的方差等于方差的和。

相关性、几何意义

0. 古典概型中的随机变量为什么其实就是有限维向量（提示：对偶空间）？那么内积、正交、夹角是什么？
1. 垂直于非零常值随机变量的随机变量是什么？利用此解释$X=(X-EX)\oplus EX$.
2. 相关系数和0.中夹角余弦有何异同？
3. 无关，正（负）相关，完全正相关分别有何几何意义？
4. 两个事件的独立（无关）、正相关、负相关是考察哪个式子的符号？这个式子是哪两个随机变量的协方差？这个式子绝对值上界是多少？
5. 背诵二元正态分布的协方差矩阵和利用标准化后的变量表示的原变量的概率密度（即$p(x,y)=\cdots$，右边表达式出现$u,v$），从直觉上解释$e$指数项中$uv$的符号。
6. 为了证明$\rho$表示相关系数，先把$X,Y$标准化成$X^{\ast },Y^{\ast }$，则标准化后变量的协方差矩阵是什么？为了快速计算$E{X}^{\ast }{Y}^{\ast }$，用了（）次随机变量期望用概率密度积分表示的表达式。
7. 协方差矩阵半正定，是因为${\vec{x}}^T\Sigma \vec{x}$能表示成某个非负随机变量即（）的期望。考察该非负随机变量取恒为0的充要条件，我们得到$\Sigma$正定的充要条件是（）不能非零线性组合出几乎恒为0的随机变量。（上个括号中填$n$个随机变量）（这么费劲描述是为了避免“线性无关”一词歧义）

答案

0. 提示：内积对应$EXY$.
1. 期望为0的随机变量。（注：这帮助我们理解记号${\mathbb{R}}^{\perp }$的含义）$X=X-EX+EX$且两个加数无关（正交）
2. 相关系数：做标准化了。注意向量数乘正数不改变“方向”
3. 考察（标准化后）夹角。
4. $P(AB)-P(A)P(B)$，$1_A,1_B$，$1/4$（考察相关系数）
5. $\Sigma =\left(\begin{array}{cc}{\sigma }_1^2& \rho {\sigma }_1{\sigma }_2\\ \rho {\sigma }_1{\sigma }_2& {\sigma }_2^2\end{array}\right),p(x,y)=\frac{1}{2\pi {\sigma }_1{\sigma }_2\sqrt{1-{\rho }^2}}exp(-\frac{u^2+v^2-2\rho uv}{2(1-{\rho }^2)})$（注意不是$p(u,v)$）。正相关时$uv$大的区域概率密度大。
6. 提示：${\sigma }_1={\sigma }_2=1$. 括号处填：2.
7. $({\sum }_i{x}_i(X_i-{\mu }_i){)}^2$，$X_i-{\mu }_i,i=1,\cdots ,n$

最优预测

0. 对于随机变量构成的线性空间空间$W$中的给定随机变量$Y$，子空间$W_0$，我们在（）中找随机变量$\hat{Y}$使得（）最小，则$\hat{Y}$是“垂足”，也就是对于任意其它的（）中随机变量$V$，我们有（）$=$（）$+$（）$\ge$（）（提示：正交分解）
1. 对于子空间$W_0$取$\mathbb{R}$，假设最佳预测是实数$r^{\ast }$，对于任意实数$r$，此时必须有$E(Y-r{)}^2\ge$（）且等号当且仅当（）时成立。对比普遍成立的式子$E(Y-r{)}^2=E(Y-r^{\ast }{)}^2+(r-r^{\ast }{)}^2+2(r^{\ast }-r)E(Y-r^{\ast })$，我们得到（）处$E(Y-r)$关于（）的导数等于（），从而得到结论（）。请把以上过程与求点到直线的垂足坐标做类比。
2. 由1. 给出$Y-r$的正交分解，并解释$r=EY$和$r=0$分别有何含义。
3. 假设统计数据中$Y$关于某一均值为0的随机变量$X$呈线性关系（$Y$从数据上看近似满足$Y=a+bX$）（小心“线性相关”一词的歧义！），则子空间$W_0$取（）。本题相比1.来说，要决定的待定参数变为2个，我们可以先利用1.决定一个，请简述决定依据。
4. 接上，还有一个参数如何决定？（类比1.进行计算）
5. 由上给出$Y-(a+bX)$的正交分解。
6. 对于子空间 { ψ ( X ) : E ψ ( X ) 2 < ∞ } \{\psi (X):E\psi(X)^2<\infty\} {ψ(X):Eψ(X)2<∞}，类比1.我们要求（），也就是$E((Y-{\psi }^{\ast }(X))(\psi (X)-{\psi }^{\ast }(X))$关于$\psi$在${\psi }^{\ast }$附近为极值。为了绕过变分法，我们想考察任意确定$X=x_0$处的情况，从而得到结果：应该取（）

答案

0. $W_0$，$E(Y-\hat{Y}{)}^2$，$W_0$，$E(Y-V{)}^2$，$E(Y-\hat{Y}{)}^2$，$E(\hat{Y}-V{)}^2$，$E(Y-\hat{Y}{)}^2$
1. $E(Y-r^{\ast }{)}^2,r=r^{\ast }$，$r^{\ast }$，$r$，0，$2r-2r^{\ast }-2E(Y-r^{\ast })=0,r^{\ast }=EY$. 略。
2. $Y-r=(Y-EY)\oplus (EY-r)$. 略。
3. { a + b X ∣ a , b ∈ R } \{a+bX|a,b\in \mathbb R\} {a+bX∣a,b∈R}，先决定常数项$a$的最佳估计值$\hat{a}$（注意$E(Y-bX)=EY$）
4. $\hat{b}=cov(X,Y)/var(X)$
5. $Y-(a+bX)=(Y-\hat{Y})\oplus (\hat{a}-a)\oplus (\hat{b}-b)X$
6. $E(Y-\psi (X){)}^2\ge E(Y-{\psi }^{\ast }(X){)}^2$且等号当且仅当${\psi }^{\ast }=\psi$时成立，${\psi }^{\ast }(x_0)=E(Y|X=x_0)$