FaceBook-NLP工具Fairseq漫游指南(1)—命令行工具
数据预处理:
bpe
清除bpe
sed -r 's/(@@ )|(@@ ?$)//g' train.document.bpe.zh > train.document.zh
FaceBook-NLP工具Fairseq漫游指南(1)—命令行工具
sed -r 's/(@@ )|(@@ ?$)//g' train.document.bpe.zh > train.document.zh