Datawhale AI 夏令营 nlp语言

首先是nlp语言涉及的基本概念：

1、机器翻译

机器翻译（Machine Translation，简称MT）是自然语言处理领域的一个重要分支，其目标是将一种语言的文本自动转换为另一种语言的文本。

发展至今已存在三种模式：基于规则的机器翻译、基于统计的机器翻译和基于神经网络机器翻译。

三者的区别就在于统计机器翻译从数据驱动建模机器翻译任务，神经网络机器翻译利用映射关系学习，而规则机器翻译则是利用语法规则和词典进行翻译。

2、数据划分：

训练集（Training Set）、开发集（Development Set，也常被称为验证集，Validation Set）和测试集（Test Set）。

训练集是为了提高拟合度。

开发集是为了选择最佳的模型配置，确保泛化能力。

测试集是反映模型的泛化能力。

3、测试

最开始给的测试结果很低，只有0.3197，第二次给出的改进的代码分数有所提高，有0.7811。

nlp自然语言处理的分数和机器学习的分数好坏的比较好像是不一样的，nlp是越高越好，机器学习是越低越好，可能是运用的模型不一样的原因。

看了一下里面的文件大概是5个，应该是训练集、开发集、测试集、和术语词典，其中开发集是分开的中英文两份。

但是对于整个代码的部分其实还没有看懂，pthyon语言需要先学习一部分，只能大概看懂部分的思路，接下来继续学习，加油！