(Pandas: How to prepare a Multi-Label Dataset? )
当进行mutli-class多标签分类任务的数据集构建时,通常我们会需要对如下这样的csv进行处理:
使用sklearn中MultiLabelBinarizer,只需简单的四行代码,即可转换成模型所需要的数据集格式,具体代码如下:
from sklearn.preprocessing import MultiLabelBinarizer
mlb = MultiLabelBinarizer()
mlb_result = mlb.fit_transform([str(df.loc[i,'categories']).split(' ') for i in range(len(df))])
df_final = pd.concat([df['text'],pd.DataFrame(mlb_result,columns=list(mlb.classes_))],axis=1)
df_final
操作完毕并保存,即可直接输入多标签分类bert模型中进行fine-tuning。