机器学习基础-统计基础1

马尔可夫不等式：

证明如下：

 公式1：

     

令u=x/t，带入公式1，得到 如下公式2：

 

由u=x/t，待会公式2，得到公式3：

 

对应含义为： 

 其中，不等式的意义，图形话表示为：红色阴影部分的累计面积小于E(x)/t

对应的绘图代码如下：

from matplotlib import pyplot as plt
from scipy import stats
import numpy as np
x=np.linspace(-20,20,10000)
y = stats.norm.pdf(x,0,5)
plt.plot(x,y,c='red')
x1=x[6000:]
y1 = y[6000:]
plt.fill_between(x1,y1,facecolor='red')
plt.annotate('t',#文本内容
         xy=(x1[0], 0),#注释所在地
         xytext=(0.01, 0.01), fontsize=16,#文本所在地
         arrowprops=dict(arrowstyle="->"))
plt.show()

 切比雪夫不等式：

证明如下：

再参考马尔可夫不等式，可得：

 

 其中，对应的含义图像话表示为：

 其中，不等式的意义，图形话表示为：红色阴影部分的累计面积小于var(x)/t^2

大数定理：

对应的机器学习的直观理解：

一个基本的机器学习过程：A表示学习算法，f表示学习的目标假设(可以是一个函数，也可以是一个分布)，H表示假设空间，g表示我们求解的用来预测的假设，g是属于H的。 机器学习的过程就是：通过算法A，在假设空间H中，根据训练样本集D，选择最好的假设作为g使g近似于f。 

 

 引用参考：

统计学习--详解Hoeffding不等式 - 知乎 (zhihu.com)