基于术语词典干预的机器翻译挑战赛（NLP竞赛）

最新推荐文章于 2024-07-14 16:37:32 发布

C&&F

最新推荐文章于 2024-07-14 16:37:32 发布

阅读量968

点赞数 19

文章标签：自然语言处理机器翻译人工智能

本文链接：https://blog.csdn.net/m0_72673289/article/details/140405455

版权

Task01学习笔记

入门并实践深度学习、解决NLP问题、机器翻译

赛事任务

基于术语词典干预的机器翻译挑战赛选择以英文为源语言，中文为目标语言的机器翻译。本次大赛除英文到中文的双语数据，还提供英中对照的术语词典。参赛队伍需要基于提供的训练数据样本从多语言机器翻译模型的构建与训练，并基于测试集以及术语词典，提供最终的翻译结果

什么是 BLUE-4 ？

BLEU，全称为Bilingual Evaluation Understudy（双语评估替换），是一种对生成语句进行评估的指标。BLEU 评分是由Kishore Papineni等人2002年的论文中提出的。《BLEU: a Method for Automatic Evaluation of Machine Translation》http://www.aclweb.org/anthology/P02-1040.pdf

在机器翻译领域，BLEU（Bilingual Evaluation Understudy）是一种常用的自动评价指标，用于衡量计算机生成的翻译与一组参考译文之间的相似度。这个指标特别关注 n-grams（连续的n个词）的精确匹配，可以被认为是对翻译准确性和流利度的一种统计估计。计算BLUE分数时，首先会统计生成文本中n-grams的频率，然后将这些频率与参考文本中的n-grams进行比较。如果生成的翻译中包含的n-grams与参考译文中出现的相同，则认为是匹配的。最终的BLUE分数是一个介于0到1之间的数值，其中1表示与参考译文完美匹配，而0则表示完全没有匹配。

BLUE-4 特别指的是在计算时考虑四元组（即连续四个词）的匹配情况。

BLUE 评估指标的特点：

优点：计算速度快、计算成本低、容易理解、与具体语言无关、和人类给的评估高度相关。
缺点：不考虑语言表达（语法）上的准确性；测评精度会受常用词的干扰；短译句的测评精度有时会较高；没有考虑同义词或相似表达的情况，可能会导致合理翻译被否定。

除了翻译之外，BLEU评分结合深度学习方法可应用于其他的语言生成问题，例如：语言生成、图片标题生成、文本摘要、语音识别。

从零入门AI竞赛(NLP方向)-学习规划表（7天）
基于术语词典干预的机器翻译挑战赛
Task	Task 描述	相关知识点	学习文件&链接	学习安排
Task 1 7.14	目标：跑通baseline，体验NLP模型解决问题的流程，基本了解赛题要求，理解赛题场景难度：非常低推荐步骤：根据文档跑通提交并拿下第一个分数了解赛题提交的格式模型训练相关的数据格式打卡第一个分数，尽量写笔记	机器翻译任务的发展历程模型训练的数据格式	从零入门NLP竞赛 Task1知识点文档 Task1 代码 & 数据集文件	开营直播 2024/7/14 21:00
Task 2 7.15~7.17	目标：深入理解赛题，精读baseline代码，入门机器学习代码实现难度：⭐️⭐️ 步骤：深入理解赛题背景通过代码实践理解赛题数据了解baseline实现思路写笔记并打卡	赛题深入解析：赛题背景赛题数据分析基于seq2seq的机器翻译任务的代码实现	Task2知识点文档 Task2 代码文件	baseline精讲直播 2024/7/15 19:00
Task 3 7.18~7.20	目标：进阶Transformer模型完成任务，入门深度学习难度：⭐️⭐️⭐️ 步骤：学习Transformer知识点理解代码模块写笔记并打卡	Transformer架构 Transformer在机器翻译上的应用	Task3知识点文档 Task3 代码文件	进阶分享直播 2024/7/18 19:00
Task 4 (可选)	目标：通过代码实践入门大模型处理机器翻译难度：⭐️⭐️ 步骤：了解当前SOTA大模型调用大模型API（讯飞）进行机器翻译任务		Task4知识点文档