2021-09-30

整理25个平行语料库数据集（选自gengo.ai）

Aligned Hansards of the 36th Parliament of Canada：包含130万英语-法语句对。地址：https://www.isi.edu/natural-language/download/hansard/
European Parliament Proceedings Parallel Corpus 1996-2011：包含 21 种欧洲语言句对。地址：http://www.statmt.org/europarl/

Global Voices Parallel Corpus：新闻门户网站 Global Voices 的内容精选，包括 57 种语言的新闻文本。地址：http://casmacat.eu/corpus/global-voices.html
RATS language identification：包含将近5400个小时的阿拉伯语、波斯语、达里语、普什图语和乌尔都语电话会话语音，并附有语音分割标注。地址：https://catalog.ldc.upenn.edu/LDC2018S10

Chinese-French Text：包含来自Chinese Broadcast News 语料库的大约 3 万汉字子集的法语译文。地址：https://catalog.ldc.upenn.edu/LDC2018T17

Arabizi Text：自动检测英语和阿拉伯语混合文本中语码转换的训练数据，包含522条推特。地址：http://catalog.elra.info/en-us/repository/browse/ELRA-W0126/

English-Vietnamese Text：包含 50 万个英语-越南语句对的语料库。地址：http://catalog.elra.info/en-us/repository/browse/ELRA-W0124/

English-Persian Text：包含超过 20 万个英语-波斯语对齐句对。地址：http://catalog.elra.info/en-us/repository/browse/ELRA-W0118/

Chinese-English Emails：包含来自电子邮件的 15000 个汉字（相当于 10000 个英文单词）及其英文参考译文。地址：http://catalog.elra.info/en-us/repository/browse/ELRA-W0113/

French-Arabic Newspapers：包含 10000 个阿拉伯语单词和 2 个法语参考译文的语料库。源文本是 2013 年 5 月从阿拉伯版《Le Monde Diplomatique》中收集的文章。地址：http://catalog.elra.info/en-us/repository/browse/ELRA-W0100/

Pashto-French Text：106 个小时的普什图语录音的文字记录及其法语译文。地址：http://catalog.elra.info/en-us/repository/browse/ELRA-W0093/

German-English Text：手动词对齐的德语-英语平行语料库。地址：https://github.com/bicici/SMTData/blob/master/German-English_WordAlignment.zip

Turkish-English Text：为 WMT 2018 准备的土耳其语-英语平行语料库。地址：https://github.com/bicici/SMTData/commit/1cca572244c6c9b8e810735ca898f5f3a19b2ecc#diff-7a11a746e07c7411854b77f3f521f534

UN translation text：6 种不同语言的联合国翻译文档合集。地址：http://opus.nlpl.eu/UN.php

XhosaNavy：南非海军英语和科萨语平行语料库。地址：http://opus.nlpl.eu/XhosaNavy.php

Wikipedia：20 种语言的平行句子语料库，句子来源于维基百科。地址：http://opus.nlpl.eu/Wikipedia.php

English-Croatian：英语和克罗地亚语平行文本。地址：

http://opus.nlpl.eu/hrenWaC.php
Catalan-Spanish：从加泰罗尼亚政府官方刊物中收集的加泰罗尼亚语和西班牙语文档合集。地址：http://opus.nlpl.eu/DOGC.php
English-Japanese：Wikipedias Kyoto Articles 日英双语语料库，包含大约 50 万个人工翻译的句对。地址：
https://www.kaggle.com/team-ai/japaneseenglish-bilingual-corpus
OntoNotes：包含英语、中文和阿拉伯语各类文本（新闻、电话会话、网络日志、新闻组、广播、脱口秀）的标注语料库。地址：

https://catalog.ldc.upenn.edu/ldc2013t19
Central Europe Telephone Speech：包含约 44 小时的标注电话语音，捷克和斯洛伐克语。地址：

https://catalog.ldc.upenn.edu/LDC2018S08
South Asia Telephone Speech：包含约 118 小时的标注电话语音，孟加拉语、印地语、旁遮普语、泰米尔语和乌尔都语。地址：

https://catalog.ldc.upenn.edu/LDC2017S14
Turkish Telephone Speech：包含约 18 小时的土耳其语电话语音。地址：

https://catalog.ldc.upenn.edu/LDC2017S09

Chinese Treebank：来自 Chinese newswire、政府文件、杂志文章和各种广播新闻的约 150 万字标注和解析文本。地址：
https://catalog.ldc.upenn.edu/LDC2013T21
Arabic Broadcast News Trans：包含 2008年和 2009 年收集的大约 37 小时阿拉伯广播新闻文字记录。地址：

https://catalog.ldc.upenn.edu/LDC2018T14