初始数据
import pandas as pd
df_train = pd.read_csv('E:/python-project/deep-learning/datawhale/nlp/news-data/train_set.csv/train_set.csv', sep='\t')
df_test = pd.read_csv('E:/python-project/deep-learning/datawhale/nlp/news-data/test_a.csv/test_a.csv', sep='\t')
train
test
长度分布
import numpy as np
import matplotlib.pyplot as plt
def split_df(df_row):
return len(str(df_row).split())
len_dist = np.vectorize(split_df)(df_train['text'])
plt.figure()
plt.hist(x=len_dist, bins=100)
plt.xlim([0,max(len_dist)])
plt.xlabel("length of sample")
plt.ylabel("number of sample")
plt.show()
通过直方图和数据描述可以看到,新闻文本的每个句子平均由907个字符构成,最短的句子长度为2,最长的句子长度为57921,其中75%以下的数据长度在1131以下。
在输入模型进行训练之前,我们要把所有的数据长度统一化,数据肯定要截断。但是在什么位置截断合适呢?
考虑到数据长度分布是长尾分布,log一下看看是不是正态分布,如果是正态分布,使用3sigma法则作为截断的参考。如果不是,则就只能瞎猜了
测量拟合分布的均值和方差sigma原则
1
σ
1 \sigma
1σ 原则:数值分布在
(
μ
−
σ
,
μ
+
σ
)
(\mu-\sigma, \mu+\sigma)
(μ−σ,μ+σ) 中的概率为0.6526;
2
σ
2 \sigma
2σ 原则: 数值分布在
(
μ
−
2
σ
,
μ
+
2
σ
)
(\mu-2 \sigma, \mu+2 \sigma)
(μ−2σ,μ+2σ) 中的概率为0.9544;
3
σ
3 \sigma
3σ 原则:数值分布在
(
μ
−
3
σ
,
μ
+
3
σ
)
(\mu-3 \sigma, \mu+3 \sigma)
(μ−3σ,μ+3σ) 中的概率为0.9974
由于"小概率事件"和假设检验的基本思想 “小概率事件"通常指发生的概 率小于5%的事件, 认为在一次试验中该事件是几乎不可能发生的。由 此可见X落在
(
μ
−
3
σ
,
μ
+
3
σ
)
(\mu-3 \sigma, \mu+3 \sigma)
(μ−3σ,μ+3σ) 以外的概率小于干分之三,在实际问题 中常认为相应的事件是不会发生的,基本上可以把区间
(
μ
−
3
σ
,
μ
+
3
σ
)
(\mu-3 \sigma, \mu+3 \sigma)
(μ−3σ,μ+3σ) 看作是随机变量X实际可能的取值区间,
\quad
这称之为正 态分布的”
3
σ
′
′
3 \sigma^{\prime \prime}
3σ′′ 原则。
log_len_dist = np.log(1+len_dist)
plt.figure(figsize=(15,5))
ax = sns.distplot(log_len_dist, fit=spstats.norm)
ax.set_xlim([0,max(log_len_dist)])
ax.set_xlabel("log length of sample")
ax.set_ylabel("prob of log")
拟合优度检验,p值为0,意思就是说这不是一个正态分布。
关于分布检验,参考这篇文章