数据分析与数据挖掘 - 05统计概率 一 统计学基础运算

一 统计学基础运算

1 方差的计算

在统计学中为了观察数据的离散程度，我们需要用到标准差，方差等计算。我们现在拥有以下两组数据，代表着两组同学们的成绩，现在我们要研究哪一组同学的成绩更稳定一些。方差是中学就学过的知识，可能有的同学忘记了 ，一起来回顾下。


A组 = [50,60,40,30,70,50] B组 = [40,30,40,40,100]


为了便于理解，我们可以先使用平均数来看，它们的平均数都是50，无法比较出他们的离散程度的差异。针对这样的情况，我们可以先把分数减去平均分进行平方运算后，再取平均值。

想上面这样就是方差的计算方式，就是数组中的每一个数减去平均值，然后再分别计算它们的平方值，最后再取平均数的运算就叫方差。方差很适合用来研究数据的离散程度，但是会存在两个问题：

• 有时数值会变得特别大
• 运算的结果变成了原来的平方

为了解决上面的问题，我们会把最后的结果开方，就像这样：

在方差的结果上，开一个根号，运算出来的结果就叫做标准差了。通过标准差的计算后，我们一下就能够看出来，标准差越小的，证明其成绩越稳定。

2 使用numpy计算标准差和方差

import numpy as np

# 创建一个二维数组
arr = np.array([[3, 7, 25, 8, 15, 20],
                [4, 5, 6, 9, 14, 21]])

# 计算方差
print(arr.var())
print(np.var(arr))
# 计算标准差
print(arr.std())
print(np.std(arr))

# 计算轴0方向方差
print(arr.var(axis=0))
print(np.var(arr, axis=0))
# 计算轴1方向方差
print(arr.var(axis=1))
print(np.var(arr, axis=1))

# 计算轴0方向标准差
print(arr.std(axis=0))
print(np.std(arr, axis=0))
# 计算轴1方向标准差
print(arr.std(axis=1))
print(np.std(arr, axis=1))

二 二项式定理

1 二项式系数

二项式定理非常重要，是理解和应用概率分布的前提，这都是中学学过的，我们一起来回顾一下。





2ab这一项可以用排列组合的知识来理解，从(a+b)(a+b)分别选出a和b的可能性，那么一共有两种情况：

• 从第一个(a+b)中选出a，从第二个(a+b)选出b
• 从第二个(a+b)中选出a，从第一个(a+b)中选出b

所以ab左边的系数就是2，这个2就是二项式系数，同理：






我们从上边的两个例子中可以看到，无论是第一个例子中的从两个括号中选出一个b，还是后边的从3个括号中选出一个b(这里我们把b作为研究对象，其实无论是谁都是一样的)都是组合的问题，所以结合我们中学学过的知识二项系数可以总结为如下公式：

在统计学中，对于二项分布来说，二项系数是必不可少的知识，关于二项分布我们后边会讲到。

2 用Python获得二项系数

首先需要声明一个函数，函数接收两个参数，一个是n，一个是k，返回值为其二项系数的值。

import itertools
import numpy as np

# 等待排列的数组
arr = [1, 2, 3, 4, 5]
# 排列的实现P
print(list(itertools.permutations(arr, 3)))

# 组合的实现C
print(list(itertools.combinations(arr, 3)))


# 获取二项系数的函数
# 支持两个参数，第一个是n，第二个是k
def get_binomial_coefficient(n, k):
    return len(list(itertools.combinations(np.arange(n), k)))


print(get_binomial_coefficient(3, 1))

使用二项式系数就可以展开(a+b)^n，所以有二项式定理，如下：

三 独立实验与重复实验

寺庙在中国已经遍布大江南北了，一天小王和小李二人出游，爬山后，偶遇一寺庙，寺庙中有一个大师，善占卜。于是二人决定请大师帮忙占卜一次。大师见二人结伴而来，便问二人是占卜独卦ÿ