python统计数据画概率曲线_统计学入门级:常见概率分布+python绘制分布图

导语:大家好,我是小π!我的公众号是关于自己在数据分析/挖掘学习过程中的一些技术和总结分享,文章会持续更新......

基本概念

离散型随机变量

如果随机变量X的所有取值都可以逐个列举出来,则称X为离散型随机变量。相应的概率分布有二项分布,泊松分布。

连续型随机变量

如果随机变量X的所有取值无法逐个列举出来,而是取数轴上某一区间内的任一点,则称X为连续型随机变量。相应的概率分布有正态分布,均匀分布,指数分布,伽马分布,偏态分布,卡方分布,beta分布等。(真多分布,好恐怖~~)

期望值

在离散型随机变量X的一切可能值中,各可能值与其对应概率的乘积之和称为该随机变量X的期望值,记作E(X) 。比如有随机变量,取值依次为:2,2,2,4,5。求其平均值:(2+2+2+4+5)/5 = 3

期望值也就是该随机变量总体的均值。推导过程如下:

= (2+2+2+4+5)/5 = 1/5*2*3 + 4/5 + 5/5 = 3/5*2 + 1/5*4 + 1/5*5 = 0.6*2 + 0.2*4 + 0.2*5 = 60%*2 + 20%*4 + 20%*5= 1.2 + 0.8 + 1 = 3倒数第三步可以解释为值为2的数字出现的概率为60%,4的概率为20%,5的概率为20%。 所以E(X) = 60%*2 + 20%*4 + 20%*5 = μ = 3。

01

0-1分布

0-1分布(两点分布),它的随机变量的取值为1或0。即离散型随机变量X的概率分布为:P{X=0} = 1-p, P{X=1} = p,即:

则称随机变量X服从参数为p的0-1分布,记作X~B(1,p)。

在生活中有很多例子服从两点分布,比如投资是否中标,新生婴儿是男孩还是女孩,检查产品是否合格等等。

02

二项分布

二项分布 Binomial distribution

大家非常熟悉的抛硬币试验对应的分布就是二项分布。抛硬币试验要么出现正面,要么就是反面,只包含这两个结果。出现正面的次数是一个随机变量,这种随机变量所服从的概率分布通常称为二项分布。

像抛硬币这类试验所具有的共同性质总结如下:(以抛硬币为例)

包含n个相同的试验每次试验只有两个可能的结果出现“正面”的概率对于每一次试验都是相同的试验是互相独立的试验“出现正面”或“出现反面”可以计数,即试验结果对应于一个离散型随机变量通常称具有上述特征的n次重复独立试验为n重伯努利试验。简称伯努利试验或伯努利试验概型。特别地,当试验次数为1时,二项分布服从0-1分布(两点分布)。

设在一次试验中,事件A发生的概率为p(0

其中

表示从n个元素中抽取k个元素的组合,计算公式为:

举个栗子:抛3次均匀的硬币,求结果出现有2个正面的概率。已知p = 0.5 (出现正面的概率) ,n = 3 ,k = 2

4ec2d5628535e5dd4ddcd8f9273ae2eacf1b6221.png?token=82592a6bee5d19b7833a9b35a492d60d

所以抛3次均匀的硬币,求结果出现有2个正面的概率为3/8。

二项分布的期望值和方差分别为:

E(X) = np D(X) = np(1-p)

最后使用Python绘制二项分布的概率分布图

%matplotlib inlineimport matplotlib.pyplot as pltimport seaborn as snssns.set(color_codes=True)sns.set(rc={'figure.figsize':(5,5)})

from scipy.stats import binomdata_binom = binom.rvs(n = 10, p = 0.8, size = 10000)ax = sns.distplot(data_binom, kde = False, color = 'skyblue', hist_kws = {'linewidth': 0.1, 'alpha': 1})ax.set(xlabel ='Binomial Distribution', ylabel = 'Frequency')

314e251f95cad1c868079a2f2dc2220cc83d517f.png?token=3987ba93a6788583fad97ddfe946ca66&s=D8211D720BE36F3A0ED510DF0300C0B2

03

泊松分布

泊松分布 Poisson distribution

泊松分布是用来描述在一指定时间范围内或在指定的面积或体积之内某一事件出现的次数的分布。生活中服从泊松分布的例子比如有每天房产中介接待的客户数,某微博每月出现服务器瘫痪的次数等等。 泊松分布的公式为:

其中 λ 为给定的时间间隔内事件的平均数,λ = np。e为一个数学常数,一个无限不循环小数,其值约为2.71828。

泊松分布的期望值和方差分别为:

E(X) = λ D(X) = λ

使用Python绘制泊松分布的概率分布图:

from scipy.stats import poissondata_poisson = poisson.rvs(mu = 3, size = 10000)ax = sns.distplot(data_poisson, bins = 30, kde = False, color = 'lightgreen', hist_kws = {'linewidth': 1, 'alpha': 1})ax.set(xlabel = 'Poisson Distribution', ylabel = 'Frequency')

8718367adab44aedd9590bcfe0e0c204a08bfb8c.png?token=e9c172efaf6641db70fbb2859d0e934a&s=42F3187209674B3A0A7928DE0300C0F2

04

正态分布

概率密度函数

因为连续型随机变量可以取某一区间或整个实数轴上的任意一个值,所以通常用一个函数f(x)来表示连续型随机变量,而f(x)就称为概率密度函数。

概率密度函数f(x)具有如下性质:

f(x) ≥ 0, -∞

需要注意的是,f(x)不是一个概率,即f(x) ≠ P(X = x) 。在连续分布的情况下,随机变量X在a与b之间的概率可以写成:

正态分布 Normal Distribution

正态分布(或高斯分布)是连续型随机变量的最重要也是最常见的分布,比如学生的考试成绩就呈现出正态分布的特征,大部分成绩集中在某个范围(比如60-80分),很小一部分往两端倾斜(比如50分以下和90多分以上)。还有人的身高等等。

正态分布的定义:

如果随机变量X的概率密度为( -∞

则称X服从正态分布,记作X~N(μ,σ)。其中-∞<μ<+∞,σ>0, μ为随机变量X的均值,σ为随机变量X的标准差。正态分布的分布函数:

正态分布的图形特点:

f(x) ≥ 0,所以整个概率密度曲线都在x轴的上方正态分布的概率密度曲线是一条关于x = μ对称的钟形曲线,表现为“两头小,中间大,左右对称”的特点。所以正态分布的期望、均值、中位数和众数相同,都等于μ。当x = μ时,概率密度f(x)达到最大值,此时

当x趋于无穷时,曲线以x轴为渐近线。μ决定了曲线的中心位置,固定σ的值,改变μ的值,曲线沿x轴平行移动而不会改变其形状。

8b82b9014a90f603ede5666d6aeef61eb151ed41.jpeg?token=f65517210841a9289f2b232a9dc98f65&s=4BAC38626BB6EEDC4C7501DE0000C0B1

而σ则决定了曲线的陡峭程度,固定μ的值,改变σ的值,σ越大曲线越平缓,σ越小曲线越陡峭。

8694a4c27d1ed21b780edcc8fc9298c153da3fdd.jpeg?token=34bc07ab9fb03f749eeb5416ffe8006d&s=5AAC34621BB7D8CE1CFD94D70000C0B1

使用Python绘制正态分布的概率分布图:

from scipy.stats import normdata_norm = norm.rvs(size = 10000, loc = 0, scale = 1)ax = sns.distplot(data_norm, bins = 30, kde = True, color = 'orange', hist_kws = {'linewidth': 1, 'alpha': 1})ax.set(xlabel = 'Normal Distribution', ylabel = 'Frequency')

3c6d55fbb2fb43167759caa1735803260bf7d3ac.jpeg?token=ffd4d94ac659dd8989325dcf3b5b5791&s=182C74325127433844E4E87D03004063

3σ准则

正态分布有一个3σ准则,即数值分布在(μ-σ,μ+σ)中的概率为0.6827,分布在(μ-2σ,μ+2σ)中的概率为0.9545,分布在(μ-3σ,μ+3σ)中的概率为0.9973,也就是说大部分数值是分布在(μ-3σ,μ+3σ)区间内,超出这个范围的可能性很小很小,仅占不到0.3%,属于极个别的小概率事件,所以3σ准则可以用来检测异常值。

5fdf8db1cb134954f9e5c72e07b2d75dd3094a86.png?token=14cb797f4bd2d9d2f0ca93f25356d92e&s=5BA23C63A0F4F794AD979D47030030E9

标准正态分布

当μ=0,σ=1时,有

此时的正态分布N(0,1) 称为标准正态分布。因为μ,σ都是确定的取值,所以其对应的概率密度曲线是一条形态固定的曲线。

对标准正态分布,通常用φ(x)表示概率密度函数,用Φ(x)表示分布函数:

Z-Score(标准分数)

假设有一次物理考试特别难,满分100分,全班只有大概20个人及格。与此同时语文考试很简单,全班绝大部分都考了90分以上。小明的物理和语文分别考了60分和80分,他回家后告诉家长,这时家长能仅仅从两科科目的分值直接判断出这次小明的语文成绩要比物理好很多吗?如果不能,应该如何判断呢?此时Z-score就派上用场了。Z-Score的计算定义:

即将随机变量X先减去总体样本均值,再除以总体样本标准差就得到标准分数啦。如果X低于平均值,则Z为负数,反之为正数。通过计算标准分数,可以将任何一个一般的正态分布转化为标准正态分布。

小明家长从老师那得知物理的全班平均成绩为40分,标准差为10,而语文的平均成绩为92分,标准差为4。分别计算两科成绩的标准分数:

物理:标准分数 = (60-40)/10 = 2

语文:标准分数 = (85-95)/4 = -2.5

从计算结果来看,说明这次考试小明的物理成绩在全部同学中算是考得很不错的,而语文考得很差。

05

指数分布

指数分布Exponential Distribution

指数分布可能容易和前面的泊松分布混淆,泊松分布强调的是某段时间内随机事件发生的次数的概率分布,而指数分布说的是随机事件发生的时间间隔的概率分布。比如一班地铁进站的间隔时间。如果随机变量X的概率密度为:

则称X服从指数分布,其中的参数λ>0。对应的分布函数为:

均匀分布的期望值和方差分别为:

使用Python绘制指数分布的概率分布图:

from scipy.stats import expondata_expon = expon.rvs(scale = 1, loc = 0, size = 1000)ax = sns.distplot(data_expon, kde = True, bins = 30, color = 'pink', hist_kws = {'linewidth': 1, 'alpha':1})ax.set(xlabel = 'Exponential Distribution', ylabel = 'Frequency')

5d6034a85edf8db195dae0b45bdf9851544e746f.png?token=e6691687f15e69e48050511ff33fceca&s=18E15D324B23432214FD39DF030050B1

06

均匀分布

均匀分布 Uniform distribution

均匀分布有两种,分为离散型均匀分布和连续型均匀分布。其中离散型均匀分布最常见的例子就是抛掷骰子啦。抛掷骰子出现的点数就是一个离散型随机变量,点数可能有1,2,3,4,5,6。每个数出现的概率都是1/6。

设连续型随机变量X具有概率密度函数:

94cad1c8a786c9175d7b65729bc135ca3ac75705.jpeg?token=41864fb9d1f3ebe3d51f6964c26bdefc

则称X服从区间(a,b)上的均匀分布。X在等长度的子区间内取值的概率相同。对应的分布函数为:

2e2eb9389b504fc21df0a241b421a21492ef6dcc.png?token=c1a2c77bb7ed7ae2c1b53d7b4389efc1&s=A5B8EC33DD6768034C7C04DE030050B2

f(x)和F(x)的图形分别如下图所示:

5ab5c9ea15ce36d3b32fe88d6a0f7f82e850b161.png?token=9b8a82ab007894717c958d1fc348600f&s=780C3472035F446B1458E8CA0300A0B3

a686c9177f3e67090b571486693bda38f9dc5571.png?token=49f24dc566672c125d6baef2ddf22df9&s=7AA83C62E91B644D00F1B0CA0300C0B3

均匀分布的期望值和方差分别为:

在看的小伙伴们如果觉得对你有用的话点个在看,发现有不对的地方欢迎留言指正,谢谢~

7d531563a158b728c6c1983eb4966a833807.gif

我就知道你“在看”

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值