讲讲切比雪夫定理

最新推荐文章于 2021-08-23 00:05:49 发布

俊红的数据分析之路

最新推荐文章于 2021-08-23 00:05:49 发布

阅读量5.8k

点赞数 1

分类专栏：统计科学系列

本文链接：https://blog.csdn.net/junhongzhang/article/details/105885175

版权

统计科学系列专栏收录该内容

27 篇文章 73 订阅

订阅专栏

总第214篇/张俊红

前面讲了大数定理，讲了中心极限定理，有读者留言让讲讲切比雪夫定理，安排。这一篇就来讲讲切比雪夫定理。

在讲切比雪夫定理之前，我们先看下切比雪夫不等式：

其中P表示概率，X是随机变量，μ是期望，k是常数，σ是标准差，整个公式表示距离期望μ越远的值出现的概率是越小的。

再拿正态分布这张图来感受下，大部分值都是分布在均值附近的，离均值越远的值是越少的，对应出现的概率也就越低。

关于不等式的证明，我们就不证明了，有兴趣的同学可以去了解下，我们直接拿来用就好。

看完不了不等式，我们再来看定理，其实是一回事的，切比雪夫定理表示：

在任意一个数据集中，位于其均值±m个标准差范围内的数值比例至少为1－1/m2，其中m为大于1的任意正数。

对于m=2，m=3和m=5有如下结果：

所有数据中，至少有3/4（或75%）的数据位于均值±2个标准差范围内。
所有数据中，至少有8/9（或88.9%）的数据位于均值±3个标准差范围内。
所有数据中，至少有24/25（或96%)的数据位于均值±5个标准差范围内。

拿前面的正态分布为例，在均值±2个标准差范围内的数据约占到全部的95%。

我们来模拟生成两个不同分布(正态&非正态)的数据验证下：

import numpy as np
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt

#生成正态数据
norm_data = np.random.randn(1,990) 

#生成非正态数据
x = np.arange(0.01,1,0.001)
long_data = 1/x

data = pd.DataFrame({"norm_data":norm_data.reshape(990,),"long_data":long_data})

#绘制概率分布图
plt.figure(figsize = (8,8))
plt.subplot(221)
sns.distplot(data["norm_data"])
plt.subplot(222)
sns.distplot(data["long_data"])

#将正态&非正态数据按照标准差进行切分
norm_data_std_bin = [-np.inf
                     ,data["norm_data"].mean() - 3*data["norm_data"].std()
                     ,data["norm_data"].mean() - 2*data["norm_data"].std()
                     ,data["norm_data"].mean() - 1*data["norm_data"].std()
                     ,data["norm_data"].mean()
                     ,data["norm_data"].mean() + 1*data["norm_data"].std()
                     ,data["norm_data"].mean() + 2*data["norm_data"].std()
                     ,data["norm_data"].mean() + 3*data["norm_data"].std()
                     ,np.inf]

long_data_std_bin = [-np.inf
                     ,data["long_data"].mean() - 3*data["long_data"].std()
                     ,data["long_data"].mean() - 2*data["long_data"].std()
                     ,data["long_data"].mean() - 1*data["long_data"].std()
                     ,data["long_data"].mean()
                     ,data["long_data"].mean() + 1*data["long_data"].std()
                     ,data["long_data"].mean() + 2*data["long_data"].std()
                     ,data["long_data"].mean() + 3*data["long_data"].std()
                     ,np.inf]

data["norm_data_cut"] = pd.cut(data["norm_data"],bins = norm_data_std_bin)
data["long_data_cut"] = pd.cut(data["long_data"],bins = long_data_std_bin)

plt.subplot(223)
(data["norm_data_cut"].value_counts().sort_index()/data["norm_data_cut"].count()).plot(kind = "bar",rot = 30)
plt.xticks(np.arange(0,8),["[-inf,u-3σ]","[u-3σ,u-2σ]","[u-2σ,u-σ]","[u-σ,u]","[u,u+σ]","[u+σ,u+2σ]","[u+2σ,u+3σ]","[u+3σ,+inf]"])

plt.subplot(224)
(data["long_data_cut"].value_counts().sort_index()/data["long_data_cut"].count()).plot(kind = "bar",rot = 30)
plt.xticks(np.arange(0,8),["[-inf,u-3σ]","[u-3σ,u-2σ]","[u-2σ,u-σ]","[u-σ,u]","[u,u+σ]","[u+σ,u+2σ]","[u+2σ,u+3σ]","[u+3σ,+inf]"])

通过运行上面的代码可以得到如下四张图：