通过MultiLabelBinarizer进行multi-label分类任务的数据预处理

（Pandas: How to prepare a Multi-Label Dataset? ）

 

当进行mutli-class多标签分类任务的数据集构建时，通常我们会需要对如下这样的csv进行处理：

使用sklearn中MultiLabelBinarizer，只需简单的四行代码，即可转换成模型所需要的数据集格式，具体代码如下：

from sklearn.preprocessing import MultiLabelBinarizer
mlb = MultiLabelBinarizer()
mlb_result = mlb.fit_transform([str(df.loc[i,'categories']).split(' ') for i in range(len(df))])
df_final = pd.concat([df['text'],pd.DataFrame(mlb_result,columns=list(mlb.classes_))],axis=1)
df_final

操作完毕并保存，即可直接输入多标签分类bert模型中进行fine-tuning。