1 数据信息如下表所示
样例数据如下文件名:data.csv
2 从数据文件中data.csv读取数据
from pandas import read_csv
def read_data():
# read data
data_df = read_csv("data.csv", sep=',', header=0)
# return
return data_df
3 对数据文件中data.csv数据去重
def delete_duplicate(data_df):
# removing missing values and duplicates from dataset
data_df.drop_duplicates(inplace=True)
data_df.dropna(inplace=True)
return data_df
4 对数据进行打乱顺序的两种方法
from sklearn.utils import shuffle
# method1
data_df = shuffle(data_df)
# method2(顺序打乱后数据index还能够按照正常的排序)
data_df = data_df.sample(frac=1).reset_index(drop=True)
5 获得数据的标签列表以及对应的数量可视化图
def data_info(data_df):
# get the label
label_list = list(set(data_df["label"].values.tolist()))
print(label_list)
# get the counts
label_counts = data_df.groupby('label').size()
print(label_counts)
data_df['label'].value_counts().plot(kind='bar', rot=45)
plt.tight_layout()
# sava picture
plt.savefig("data.png")
# show picture
plt.show()
输出数据基本信息如下所示
输出数据可视化图如下图所示
6 根据条件筛选数据集
比如label的值是joke和music的数据集
def filter_data(data_df):
temp_df = data_df.loc[data_df["label"].isin(["music", "joke"])]
print(temp_df.shape)
print(temp_df.head(10))
输出结果如下图所示: