Regression Analysis

条件概率分布

大写字母表示随机变了或者随机向量，小结字母代表随机变量的取值。
边缘概率分布为：
$$f_X(x)={\int }_{-\infty }^{\infty }f(x,y)dy$$
条件概率分布为：
$$f_{Y|X}(y|x)=\frac{f(x,y)}{f_X(x)}$$
它表示了Y是怎样取决于X的，换句话说，它表示用X对Y的预测能力。
条件均值：
$$E(Y|x)=E(Y|X=x)=\int yf(y|x)dy$$
条件方差：
V a r ( Y ∣ x ) = E { [ Y − E ( Y ∣ x ) ] 2 ∣ x } = E ( Y 2 ∣ x ) − [ E ( Y ∣ x ) ] 2 Var(Y|x)=E\{[Y-E(Y|x)]^2|x\}\\=E(Y^2|x)-[E(Y|x)]^2 Var(Y∣x)=E{ [Y−E(Y∣x)]2∣x}=E(Y2∣x)−[E(Y∣x)]2
条件分位数(Quantile):
$$\begin{gathered} F_Y(Q_Y(\alpha |X)|X=x))=\alpha \\ {Q}_Y(\alpha |X)=F_Y^{-1}(\alpha |X=x) \end{gathered}$$
当$\alpha =0.5$时，$Q_Y(0.5|x)$是中位数。

回归分析

$E(Y|X)$表示Y对X的回归方程.
迭代期望定律：
$$\begin{gathered} E[E(U|X)]=E(Y) \\ {E}_{X}E[G(X,Y)|X]=E[G(X,Y)] \end{gathered}$$
Tower Property:
$$E(Y|X_1)=E[E(Y|X_1,X_2$$