线性代数|机器学习-P21概率定义和Markov不等式

1. 样本期望和方差

1.1 样本期望 $\mathrm{E}(X)$

假设我们有N个样本及概率如下$x_1\to p_1,x_2\to p_2,\cdots ,x_n\to p_n$,那么样本期望$E(X)$
$$\begin{array}{c}\mathrm{E}(X)=m=\sum _{i=1}^N{p}_i{x}_i\end{array}$$

• 函数期望：
  $$\begin{array}{c}\mathrm{E}(f(x))=m=\sum _{i=1}^N{p}_{i}f(x_i)\end{array}$$

1.2 样本期望 $\mathrm{D}(X)$

$$\begin{array}{c}\mathrm{D}(X)={\sigma }^2=\mathrm{E}[(x_i-m{)}^2]\end{array}$$

• 展开可得：
  $$\begin{array}{c}\mathrm{D}(X)=\sum _{i=1}^N{p}_i(x_i-m{)}^2\end{array}$$
• 展开可得：
  $$\begin{array}{c}=p_1(x_1^2+m^2-2x_{1}m)+p_2(x_2^2+m^2-2x_{2}m)+\cdots +p_n(x_n^2+m^2-2x_{n}m)\end{array}$$
  $$\begin{array}{c}=p_1(x_1^2+x_2^2+\cdots +x_n^2)+(p_1+p_2+\cdots +p_n)m^2-2m(p_1{x}_1+p_2{x}_2+\cdots +p_n{x}_n)\end{array}$$
• 因为 $p_1+p_2+\cdots +p_n=1,p_1{x}_1+p_2{x}_2+\cdots +p_n{x}_n=m$
• $\mathrm{E}(X^2)=p_1(x_1^2+x_2^2+\cdots +x_n^2),\mathrm{E}(X)=m={\sum }_{i=1}^N{p}_i{x}_i$
• 整理可得：
  $$\begin{array}{c}D(X)=\mathrm{E}(X^2)+m^2-2m^2=\mathrm{E}(X^2)-[\mathrm{E}(X){]}^2\end{array}$$

2. Markov 不等式&Chebyshev不等式

2.1 Markov不等式公式 概述

假设X是一个均值有限的非负随机变量，均值为$\mathrm{E}(X)$,这意味着$P(X<0)=0$,那么对于任意的正数a,有
$$\begin{array}{c}Prob(X\ge a)\le \frac{\mathrm{E}(X)}{a},X_i\ge 0\end{array}$$

• 同等公式如下：
  $$\begin{array}{c}Prob(X<a)\ge 1-\frac{\mathrm{E}(X)}{a}\end{array}$$

2.2 Markov不等式公式 证明：

我们定义样本分布的概率密度为$f(x)$,如下图所述：

• 我们可以得到期望E(X)表示如下：
  $$\begin{array}{c}\mathrm{E}(X)={\int }_0^{\infty }xf(x)\mathrm{d}x\end{array}$$
• 因为 x , f(x)我们定义均大于等于0，所以可以进行缩放，将原来积分从0到正无穷缩小到a到正无穷
  $$\begin{array}{c}{\int }_0^{\infty }xf(x)\mathrm{d}x\ge {\int }_a^{\infty }xf(x)\mathrm{d}x\end{array}$$
• 因为每个x现在都大于等于a，$x\ge a$，所以可以将系数x缩放为a，即：
  $$\begin{array}{c}{\int }_0^{\infty }xf(x)\mathrm{d}x\ge {\int }_a^{\infty }xf(x)\mathrm{d}x\ge {\int }_a^{\infty }af(x)\mathrm{d}x=a{\int }_a^{\infty }f(x)\mathrm{d}x\end{array}$$
• 这里的${\int }_a^{\infty }f(x)\mathrm{d}x=P(X\ge a)$,则整理上面公式可得：
  $$\begin{array}{c}\mathrm{E}(X)\ge aP(X\ge a)\to P(X\ge a)\le \frac{\mathrm{E}(X)}{a}\end{array}$$
• 综上所述，我们得到马尔科夫不等式如下：
  $$\begin{array}{c}P(X\ge a)\le \frac{\mathrm{E}(X)}{a}\end{array}$$
• 假设样本和概率表示如下：

Sample	$x_1=1$	$x_2=2$	$x_3=3$	$x_4=4$	$x_5=5$
P	$p_1$	$p_2$	$p_3$	$p_4$	$p_5$

$$\begin{array}{c}\mathrm{E}(X)=p_1{x}_1+p_2{x}_2+p_3{x}_3+p_4{x}_4+p_5{x}_5\end{array}$$

• 我们假设期望为1 ，$\mathrm{E}(X)=1$
  -$$\begin{array}{c}\mathrm{E}(X)=p_1{x}_1+p_2{x}_2+p_3{x}_3+p_4{x}_4+p_5{x}_5=1\end{array}$$
• X>3的概率如下：
  $$\begin{array}{c}Prob(X\ge 3)\le \frac{\mathrm{E}(X)}{3}\to Prob(X\ge 3)\le \frac{1}{3}\end{array}$$
  $$\begin{array}{c}{p}_3+p_4+p_5\le \frac{1}{3}\end{array}$$

2.3 Markov不等式公式 举例：

假设Andrew在平时工作一个星期中平均下来一个星期会犯 4 次错，也就是期望$\mathrm{E}(X)=4$,那么我们想知道如果Andrew在平时工作一个星期中会犯 10 次以上的错的概率多少？转换到数学公式如下：
$$\begin{array}{c}\mathrm{E}(X)=4,Prob(X>10)\le \frac{\mathrm{E}(X)}{10}\to Prob(X>10)\le 40\%\end{array}$$

• 也就是说Andrew 在平时一个星期中犯错10次以上的概率不会超过$40\%$

2.4 Chebyshev不等式公式概述：

如果随机变量X的期望$\mu$,方差$\sigma$存在，则对于任意$ϵ>0$，有如下公式：
$$\begin{array}{c}P(|X-\mu |\ge ϵ)\le \frac{{\sigma }^2}{{ϵ}^2}\end{array}$$

2.5 Chebyshev不等式公式证明：

我们已经证明了马尔科夫不等式表示如下：
$$\begin{array}{c}P(Y\ge a)\le \frac{\mathrm{E}(Y)}{a}\end{array}$$

• 这里我们令$Y=(X-\mu {)}^2,a={ϵ}^2$代入到公式中：
  $$\begin{array}{c}P((X-\mu {)}^2\ge {ϵ}^2)\le \frac{\mathrm{E}((X-\mu {)}^2)}{{ϵ}^2}\end{array}$$
• 我们可以发现$P((X-\mu {)}^2\ge {ϵ}^2)$等效于$P(|X-\mu |\ge ϵ)$,${\sigma }^2=\mathrm{E}((X-\mu {)}^2)$
• 整理上述公式可得切尔雪夫不等式结果：
  $$\begin{array}{c}P(|X-\mu |\ge ϵ)\le \frac{{\sigma }^2}{{ϵ}^2}\end{array}$$

3. 协方差矩阵

设 $\Omega$为样本空间，P是定义在$\Omega$的事件族$\Sigma$上的概率，换句话来说,$\Omega ,\Sigma ,P$是个概率空间；若X与Y定义在$\Omega$上两个实数随机变量，期望分别为：
$$\begin{array}{c}\mathrm{E}(X)={\int }_{\Omega }X\mathrm{d}P=\mu ;\mathrm{E}(Y)={\int }_{\Omega }Y\mathrm{d}P=v;\end{array}$$

• 则两者间的协方差定义为：
  $$\begin{array}{c}\mathrm{cov}(X,Y)=\mathrm{E}[(X-\mu )(Y-v)]\end{array}$$

3.1 举例

[感觉老师举的例子不好]
假设我们有两个硬币，X,Y 正反的概率均为0.5，那么概率矩阵为：

• 当两个硬币单独扔下去时，概率矩阵如下：

Sample	$x_1=正$	$x_2=反$
$y_1=正$	$\frac{1}{4}$	$\frac{1}{4}$
$y_2=反$	$\frac{1}{4}$	$\frac{1}{4}$

• 当两个硬币粘贴在一起扔下去时，概率矩阵如下：

Sample	$x_1=正$	$x_2=反$
$y_1=正$	$\frac{1}{2}$	$0$
$y_2=反$	$0$	$\frac{1}{2}$

• 当三个硬币单独扔下去时,两个硬币用平面表示，三个硬币用立方体表示
  $$\begin{array}{c}{P}_{HHH}=\frac{1}{8}\end{array}$$
  

3.2 Python 代码

$$\mathrm{COV}(X,Y)=0.14516142787498987$$

import numpy as np
import matplotlib.pyplot as plt

# Generate some data
x = np.random.rand(100)
y = 2 * x + np.random.normal(0, 0.1, 100)  # y is roughly 2 times x with some noise

# Calculate the covariance matrix
cov_matrix = np.cov(x, y)

# Extract the covariance value
cov_xy = cov_matrix[0, 1]

print(f"Covariance between x and y: {cov_xy}")

# Plotting the data
plt.scatter(x, y)
plt.title('Scatter plot of x and y')
plt.xlabel('x')
plt.ylabel('y')
plt.show()