Datawhale AI 夏令营 NLP方向

Task1：了解机器翻译 & 理解赛题

一、机器翻译的发展历程

机器翻译（Machine Translation，简称MT）是自然语言处理领域的一个重要分支，其目标是将一种语言的文本自动转换为另一种语言的文本。

经历了从基于规则的方法、统计方法到深度学习方法的演变过程。

1. 基于规则的机器翻译（1950s-1980s）

2. 基于统计的机器翻译（1990s-2000s）

3. 基于神经网络机器翻译（2010s-present）

4. 未来发展趋势：机器翻译正朝着更加智能化和个性化方向发展

二、数据划分

1. 训练集（Training Set）：训练集用于训练模型，使模型能够学习输入数据与输出结果之间的映射关系。模型会根据训练集中的样本调整其参数，以最小化预测误差。

2. 开发集/验证集（Development/Validation Set）：开发集用于在模型训练过程中调整超参数、选择模型架构以及防止过拟合。它作为独立于训练集的数据，用于评估模型在未见过的数据上的表现。选择最佳的模型配置，避免模型在训练集上过度拟合，确保模型的泛化能力。

3. 测试集（Test Set）：测试集用于最终评估模型的性能，是在模型训练和调参完全完成后，用来衡量模型实际应用效果的一组数据。它是最接近真实世界数据的评估标准。

        

三、baseline 初步实践与思考

本次参加讯飞开发者大赛，基于术语词典的机器翻译挑战赛作为实践。

采用魔搭社区的服务器进行代码运行，笔者第一次采用GPU进行运算，速度比较快，而用CPU计算，速度明显很慢。

笔者搜集资料，猜测以下几种原因

1.很多深度学习框架（如TensorFlow、PyTorch）在GPU上进行优化，能够利用GPU的特性提升性能。而baseline 代码中 引入了Torch模块，因此笔者猜测有这一方面的原因。

2.处理的数据量很大，GPU能更高效地利用其多个核心进行计算。

3.由于并行运算的特性，GPU设计用于处理大量并行计算任务，特别适合深度学习等需要大量矩阵运算的工作。

在修改了数据训练轮数与数据样本之后，测试结果有了可观的改善，但在某一个的特殊的值后，出现过拟合状态，损失值震荡不变。

PS：（稍微学了一点命令）

mkdir MT
cd MT
mkdir code

mkdir 创建目录 

cd 穿梭到指定目录