该博客介绍了如何获取和处理生物医药领域的平行语料库，用于机器翻译任务。作者提供了详细的数据下载步骤，包括从GitHub上下载数据集，修改脚本以选择特定的数据范围，并针对中文编码问题进行调整。通过运行脚本，可以将数据导出到指定目录，为机器翻译模型的训练提供资源。
- 生物医药翻译作为一个单独的翻译任务，公开了大量的多语言数据作为训练集
Biomedical translation Task - ACL 2022 Seventh Conference on Machine Translation (statmt.org)
这篇文章记录下第一个数据集的获得 GitHub - biomedical-translation-corpora/corpora: Parallel corpora for the biomedical domain
- 先下载一下这个文件
- 解压后有4个东西，已经提供了获取数据集的脚本wmtbio22_train_data.py
- 解压trainWmt22这个压缩包
- 修改一下这个脚本，中括号里原本是[0:7]，改为[8:15]
下面以中文为例：
- 中文编码问题，还是这个脚本94行加上encoding="utf-8"
- 运行脚本
-
# 输出目录,需要自己先创建:./en-zh/ python wmtbio22_train_data.py train22_eng_chi.txt ./en-zh/ - 结果：
2397
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
