使用Python实践抽样分布

使用Python实践抽样分布

0X00 前言

统计学中最主要的提取信息的方式就是对原始数据进行一定的运算，得出某些代表性的数字，以反映数据某些方面的特征，这种数字称为统计量。统计量是样本的函数，它不依赖于任何未知参数。推断统计学的重要作用是，通过总体中抽取样本构造适当的统计量，由样本性质推断关于总体的性质。在正态总体的条件下，主要有卡方、t分布、F分布三大分布。本周使用python进行该章节的实践。

0X01 数据集介绍

选取泰坦尼克号的数据，利用python进行抽样分布描述及实践。数据集的原始数据是泰坦尼克号的数据，本次截取了其中的一部分数据进行学习。Age:年龄，指登船者的年龄。Fare:价格，指船票价格。Embark:登船的港口。

#数据读取
df = pd.read_excel('C://Users//zxy//Desktop//data.xlsx',usecols = [1,2,3])
 
 
1.按照港口分类，计算各类港口数据 年龄、车票价格的统计量。
df1 = df.groupby(['Embarked'])
df1.describe()
 
或
# 变异系数 = 标准差/平均值
def cv(data):
    return data.std()/data.var()
df2 = df.groupby(['Embarked']).agg(['count','min','max','median','mean','var','std',cv])
df2 = df2.apply(lambda x:round(x,2))
df2_age = df2['Age']
df2_fare = df2['Fare']
 
# 2、画出价格的分布图像，验证数据服从何种分布
# 2.1 船票直方图：
plt.hist(df['Fare'],20,normed=1,alpha=0.75)
plt.title('Fare')
plt.grid(True)
 
#分别用kstest、shapiro、normaltest来验证分布系数
ks_test = stats.kstest(df['Fare'], 'norm')
shapiro_test = stats.shapiro(df['Fare'])
normaltest_test = stats.normaltest(df['Fare'],axis=0)
#以上三种检测结果表明 p<5%,因此 船票数据不符合正态分布。
 
 
# 绘制拟合正态分布曲线:
fare = df['Fare']
 
plt.figure()
fare.plot(kind = 'kde')      #原始数据的正态分布
 
M_S = stats.norm.fit(fare)   #正态分布拟合的平均值loc，标准差 scale
normalDistribution = stats.norm(M_S[0], M_S[1])    # 绘制拟合的正态分布图
x = np.linspace(normalDistribution.ppf(0.01), normalDistribution.ppf(0.99), 100)
plt.plot(x, normalDistribution.pdf(x), c='orange')
plt.xlabel('Fare about Titanic')
plt.title('Titanic[Fare] on NormalDistribution', size=20)
plt.legend(['Origin', 'NormDistribution'])
 
 
# 验证是否符合T分布
T_S = stats.t.fit(fare)
df = T_S[0]
loc = T_S[1]
scale = T_S[2]
x2 = stats.t.rvs(df=df, loc=loc, scale=scale, size=len(fare))
D, p = stats.ks_2samp(fare, x2)
#p < alpha，拒绝原假设，价格数据不符合t分布。
 
# 对票价数据进行T分布拟合：
plt.figure()
fare.plot(kind = 'kde')
TDistribution = stats.t(T_S[0], T_S[1],T_S[2])    # 绘制拟合的T分布图
x = np.linspace(TDistribution.ppf(0.01), TDistribution.ppf(0.99), 100)
plt.plot(x, TDistribution.pdf(x), c='orange')
plt.xlabel('Fare about Titanic')
plt.title('Titanic[Fare] on TDistribution', size=20)
plt.legend(['Origin', 'TDistribution'])
 
# 验证是否符合卡方分布？
chi_S = stats.chi2.fit(fare)
df_chi = chi_S[0]
loc_chi = chi_S[1]
scale_chi = chi_S[2]
x2 = stats.chi2.rvs(df=df_chi, loc=loc_chi, scale=scale_chi, size=len(fare))
Dk, pk = stats.ks_2samp(fare, x2)#不符合
 
#对票价数据进行卡方分布拟合
plt.figure()
fare.plot(kind = 'kde')
chiDistribution = stats.chi2(chi_S[0], chi_S[1],chi_S[2])    # 绘制拟合的正态分布图
x = np.linspace(chiDistribution.ppf(0.01), chiDistribution.ppf(0.99), 100)
plt.plot(x, chiDistribution.pdf(x), c='orange')
plt.xlabel('Fare about Titanic')
plt.title('Titanic[Fare] on chi-square_Distribution', size=20)
plt.legend(['Origin', 'chi-square_Distribution'])
 
# 按照港口分类，验证S与Q两个港口间的价格之差是否服从某种分布
S_fare = df[df['Embarked'] == 'S']['Fare']
Q_fare = df[df['Embarked'] =='Q']['Fare']
C_fare = df[df['Embarked'] =='C']['Fare']
S_fare.describe()
 
# 按照港口分类后，S港口样本数<=554,Q港口样本数<=28,C港口样本数<=130。
# 总体不服从正态分布，所以需要当n比较大时，一般要求n>=30，两个样本均值之差的抽样分布可近似为正态分布。
# X2的总体容量为28，其样本容量不可能超过30，故其S港和Q港两个样本均值之差（E(X1)-E(X2)）的抽样分布不服从正态分布。
# S港和C港两个样本均值之差（E(X1)-E(X3)）的抽样分布近似服从正态分布，
# 其均值和方差分别为E(E(X1) - E(X3)) = E(E(X1)) - E(E(X3)) = μ1 - μ3；D(E(X1) + E(X3)) = D(E(X1)) + D(E(X3)) = σ1²/n1 + σ3²/n3 。
 
miu = np.mean(S_fare) - np.mean(C_fare)
sig = np.sqrt(np.var(S_fare, ddof=1)/len(S_fare) + np.var(C_fare, ddof=1)/len(C_fare))
 
x = np.arange(- 110, 50)
y = stats.norm.pdf(x, miu, sig)
plt.plot(x, y)
plt.xlabel("S_Fare - C_Fare")
plt.ylabel("Density")
plt.title('Fare difference between S and C')
plt.show()