论文相关问题【A Transformer-based Approach for Source Code Summarization】

---

一、为什么transformer比RNN效果好？

变压器模型可以利用自注意力机制捕捉代码标记之间的长距离依赖关系，而基于RNN的模型由于源代码的顺序性可能无法做到这一点。变压器模型还可以比基于RNN的模型更好地建模源代码的非顺序结构。

• Transformer不是顺序处理输入的单词，而是同时处理整个句子，这样可以避免长距离依赖的问题，也可以利用并行计算提高训练速度。

• Transformer使用了自注意力机制，可以计算句子中每个单词与其他单词的相似度，从而捕捉它们之间的关系。

• Transformer使用了位置编码，可以在不使用递归的情况下，为每个单词添加位置信息，从而保留句子的结构信息。

二、为什么在源代码摘要任务中，使用相对位置表示比使用绝对位置表示更有效？

• 相对位置表示可以捕捉源代码中不同单词之间的结构相关性，而不是依赖于它们在句子中的绝对位置。这样可以更好地学习源代码的语义信息，从而生成更准确和清晰的摘要。
• 相对位置表示可以让Transformer在计算自注意力分数时，考虑到源代码中单词的相对距离，而不是仅仅依赖于它们的嵌入向量。这样可以更好地捕捉源代码中单词的长距离依赖关系，从而生成更完整和流畅的摘要。
• 绝对位置表示可能会忽略源代码中单词的语义相似度，而只关注它们在句子中的顺序。这样可能会导致Transformer生成错误或冗余的摘要。

三、什么是拷贝注意力机制，它如何帮助Transformer复制源代码中的稀有词汇？

• 拷贝注意力机制是指在序列到序列的学习中，让解码器可以选择性地从输入序列中复制一些词或符号到输出序列中。这样做可以让模型处理一些不在词汇表中的词，例如源代码中的函数名、变量名等。拷贝注意力机制通常使用编码器-解码器的注意力作为拷贝分布，也就是根据解码器的状态和编码器的输出计算每个输入元素被复制的概率。
• Transformer是一种基于自注意力机制的编码器-解码器模型，它可以捕捉输入序列中元素之间的长距离依赖关系。Transformer也可以使用拷贝注意力机制来增强它的生成能力。具体来说，Transformer在解码器的顶层添加了一个额外的注意力层来学习拷贝分布，然后将拷贝分布和生成分布相结合来输出最终的词汇概率。这样做可以让Transformer在生成源代码摘要时，能够复制源代码中的稀有词汇，从而提高摘要的准确性和可读性。

四、作者是如何使用抽象语法树（AST）结构的源代码的？

作者在第三节中提到了他们进行了额外的实验，来探索在Transformer中使用AST信息的效果。他们使用了Hu et al. (2018a)提出的基于结构的遍历（SBT）方法，将AST结构转换为一个线性序列。他们保持了Transformer的原始架构，只是在拷贝注意力机制中，使用了一个掩码来阻止从输入序列中拷贝非终端符号。作者指出，使用AST信息会增加输入序列的平均长度，从而增加了Transformer的复杂度。作者的实验结果表明，在Transformer中加入AST信息并没有带来性能的提升。作者推测，在摘要中利用代码结构信息的优势有限，而且它会随着Transformer使用相对位置编码而减弱。

五、相对位置编码和绝对位置编码

• 绝对位置编码是指为每个输入的词或符号添加一个位置向量，表示它在序列中的绝对位置。这个位置向量可以是随机初始化并训练的，也可以是用三角函数或其他方法生成的。绝对位置编码的优点是可以直接反映序列中每个元素的位置信息，缺点是受到序列长度的限制，无法处理超过预设长度的序列。
• 相对位置编码是指在计算每两个输入元素之间的关系时，加入它们之间的相对距离信息。这个相对距离信息可以是一个可学习的向量，也可以是一个固定的函数。相对位置编码的优点是可以处理任意长度的序列，而且可以捕捉元素之间的相对关系，缺点是可能无法准确地表达元素之间的方向信息。

下面是一些具体的例子：

• BERT使用了绝对位置编码，它将每个位置初始化为一个随机向量，并在训练过程中更新它。这样做可以让模型识别出每个词在句子中的不同位置，但是只能处理最多512个词的句子。
• Transformer使用了三角函数生成的绝对位置编码，它将每个位置表示为一个正弦和余弦函数的组合。这样做可以让模型学习到每个词在句子中的周期性变化，但是可能无法区分距离很远的词。
• NEZHA使用了相对位置编码，它将每两个词之间的距离表示为一个可学习的向量，并在自注意力机制中加入它。这样做可以让模型处理任意长度的句子，而且可以捕捉词之间的相对关系，但是可能忽略了词之间的方向信息。

总结