3-11 Transformer结构--优缺点

优点：

1. Transformer是一种强大的模型，已在多个NLP任务中取得了成功。相比传统的循环神经网络（RNN）和卷积神经网络（CNN），Transformer在处理长序列和捕捉长距离依赖关系方面表现出色。
2. Transformer的并行化能力很强。由于没有序列依赖性，Transformer可以同时处理输入序列中的所有位置，因此可以在多个GPU上并行计算，加速训练过程。
3. Transformer通过引入自注意力机制证明了其有效性。自注意力允许模型根据输入序列内部的关联性来动态地加权不同位置的信息，从而更好地捕捉上下文和语义信息。
4. Transformer的成功为后续的NLP模型发展提供了启示。例如，BERT和GPT等模型都是基于Transformer架构，并在各自的任务上取得了显著的成果。

缺点：

1. Transformer的架构相对复杂，对模型的修改比较敏感。调整Transformer的参数和结构可能需要大量的实验和调试，以找到最佳的配置和超参数设置。
2. Transformer中每层的复杂度较高，尤其是与序列长度相关的参数数目为O(W^6)，其中W是序列长度。这使得Transformer在处理极长文档时存在困难，通常需要限制输入序列的最大长度来控制计算和内存消耗。
3. Transformer对计算资源的要求较高。由于模型参数众多且计算密集，训练和推理Transformer模型需要大量的计算能力和内存，这对于部署和实际应用可能带来一定的挑战。