大数据随机样本划分生成及判定

实验目的

掌握大规模数据集随机样本划分的生成方法和判别方法

实验内容

（一）生成服从已知分布的N个随机数，验证N对样本分布函数与理论分布函数之间误差的影响，可以在2个分布上进行验证；
（二）尝试对N个随机数进行不同的数据划分，在各个数据块上验证样本分布函数与理论分布函数之间的误差，检验哪种数据划分能够保证在数据块上都能得到理想的样本分布函数和理论分布函数的拟合效果。

实验过程

验证N对样本分布函数与理论分布函数之间误差的影响

首先，我们实验的总体思路生成N个服从某个分布的随机数X，然后将X按照从小到大的顺序重现编码（即将X排序），得到X’，然后利用函数
$$F(x)=\{\begin{array}{ll}1& ifx>x_{(N)}\\ 0& x<x_{(1)}\\ k/N& x_{(k)}<x<x_{(k+1)}\end{array}$$
将这些数据表示为离散的概率分布函数，然后再与理论的概率分布函数进行比较

本次实验我们采用KL散度(相对熵)来衡量两个离散的概率分布的相似性，以此来量化不同N生成的经验分布函数对理论分布函数的好坏，KL散度越小（越接近0），说明这两个概率分布越相似

import scipy.stats  

def KL_divergence(p,q):  
    return scipy.stats.entropy(p, q)  

高斯分布

我们生成N个服从高斯分布（μ=200，σ=25）的随机数，并确定随机数值域的上下界，再对这些数据进行经验函数的映射，得到经验分布函数的step图，再与通过公式计算得到的高斯分布的理论分布函数进行对比

def plot_gaussian_(mu,sigma,N):  
    # 生成服从高斯分布的随机数  
    X = np.random.normal(mu, sigma, size=N)  
    X = sorted(X)  
    min_x = X[0]  
    max_x = X[-1]# 随机数的上界  
    # 经验分布函数  
    def F(y):  
        def <