使用Pandas对数据集进行操作_自定义 huggingface dataset pandas-CSDN博客

本文链接：https://blog.csdn.net/wlqkycg/article/details/122081715

本文介绍如何使用Python中的Pandas和Sklearn库对CSV文件中的数据进行读取、去重、打乱顺序及筛选等操作，并展示了如何获取数据标签及其数量分布。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1 数据信息如下表所示

样例数据如下文件名：data.csv
在这里插入图片描述

2 从数据文件中data.csv读取数据

from pandas import read_csv
def read_data():
    # read data
    data_df = read_csv("data.csv", sep=',', header=0)
    # return
    return data_df

3 对数据文件中data.csv数据去重

def delete_duplicate(data_df):
    # removing missing values and duplicates from dataset
    data_df.drop_duplicates(inplace=True)
    data_df.dropna(inplace=True)
    return data_df

4 对数据进行打乱顺序的两种方法

from sklearn.utils import shuffle
# method1
data_df = shuffle(data_df)
# method2（顺序打乱后数据index还能够按照正常的排序）
data_df = data_df.sample(frac=1).reset_index(drop=True)

5 获得数据的标签列表以及对应的数量可视化图

def data_info(data_df):
	# get the label
    label_list = list(set(data_df["label"].values.tolist()))
    print(label_list)
    # get the counts
    label_counts = data_df.groupby('label').size()
    print(label_counts)
    data_df['label'].value_counts().plot(kind='bar', rot=45)
    plt.tight_layout()
    # sava picture
    plt.savefig("data.png")
    # show picture
    plt.show()

输出数据基本信息如下所示
在这里插入图片描述
输出数据可视化图如下图所示

6 根据条件筛选数据集

比如label的值是joke和music的数据集
def filter_data(data_df):
    temp_df = data_df.loc[data_df["label"].isin(["music", "joke"])]
    print(temp_df.shape)
    print(temp_df.head(10))