使用RoBERT进行fine tune来复现GLUE的效果
所有的文件被处理到目录: xxx/processed/train.label, xxx/processed/test.raw.input0。这段代码的作用是将input, label给提取出来.其中利用了shell命令中的cut命令能够指定原文件的列到输出文件中.调用fairseq-preprocess 命令来对数据集进行最后一步的处理.起到的作用是, 每个数据集从网址上下载下来, 存储在文件夹中.使用BPE编码方式, 进行编码.这里我使用base模型来做例子.
原创
2023-08-16 14:16:23 ·
299 阅读 ·
0 评论