【Datawhale AI 夏令营】基于术语词典干预的机器翻译挑战赛——task03

在task3的模型中，运用了Transformer ，Transformer基于循环或卷积神经网络的序列到序列建模方法是现存机器翻译任务中的经典方法，对于经典的卷积神经网络

卷积神经网络算法作为一种经典的深度学习算法，又被称作为CNN算法.，最初是用来针对手写数字识别的，该是由多个层组成，主要包括输入层、卷积层、池化层、全连接层和输出层。

输入层代表着输入的数据，它可以是一维也可以是多维；卷积层在整个网络结构当中的位置处于最关键的位置，每个卷积层是由若干个卷积核组成，通过卷积运算对输入层的特征进行提取，并将其传递到下一层网络；卷积层后一般会加入池化层，池化层的作用是通过下采样的操作，将特征划分为多个矩阵，并在每个矩阵中取相应的特征值，来减少数据的维度而不改变数据的深度，从而达到减少参数数量提高运算速率的目的。具有平移不变性的特点；全连接层处于整个网络结构的尾端，在整个卷积神经网络模型当中起到“分类器”的作用。全连接层通过对卷积层或者池化层中具 有类别区分性的局部信息进行整合，将前一层的特征信息从高维空间转到低维空间，并将前一层的特征信息转化成输出值，同时可以通过 softmax逻辑回归进行对输出值分类，该层也可称为 softmax 层。

 

而对于Transformer，一张十分景点的图片展示了它的魅力：

在调整过程中，最简单的就是调参，将 epochs 调大一点，使用全部训练集，以及调整模型的参数，如head、layers等。如果数据量允许，增加模型的深度（更多的编码器/解码器层）或宽度（更大的隐藏层尺寸），这通常可以提高模型的表达能力和翻译质量，尤其是在处理复杂或专业内容时。