大语言模型技术选择（技术汇总）

1，Transformer架构
        Transformer架构是一种能够支持大规模参数和复杂计算结构的深度学习框架，它通过自注意力机制使得大模型在处理长序列数据时能够捕捉细微的上下文关系，从而在自然语言处理、计算机视觉和多模态任务等领域实现高效的特征提取和强大的泛化能力。
2，卷积神经网络 (CNNs)：
        虽然CNNs最初是为图像处理设计的，但它们也被用于文本分类、情感分析等NLP任务。CNNs能够捕捉局部特征，对于文本数据中的词嵌入表示特别有效。
3，循环神经网络 (RNNs)：
        RNNs，特别是其变体如长短期记忆网络 (LSTMs) 和门控循环单元 (GRUs)，曾广泛用于处理序列数据。它们能够捕捉时间序列中的长期依赖关系。
4，自编码器 (Autoencoders)：
        自编码器用于无监督学习，通过编码器压缩输入数据，然后通过解码器重构输出。它们可以用于特征提取和降维。
5，生成对抗网络 (GANs)：
        GANs由生成器和判别器组成，通常用于图像生成任务。在NLP中，GANs也被用于文本生成。
6，注意力机制 (Attention Mechanisms)：
        虽然注意力机制通常与Transformer架构结合使用，但它也可以独立于Transformer使用，或与其他架构（如RNNs）结合。
7，序列到序列模型 (Seq2Seq)：
        这类模型通常用于机器翻译和文本摘要任务。它们通常包含一个编码器和一个解码器，编码器处理输入序列，解码器生成输出序列。
8，混合模型 (Hybrid Models)：
        混合模型结合了多种架构的优点，例如，将CNNs和RNNs结合，或者将Transformer与RNNs结合，以利用各自的优势。
9，RWKV架构：
        RWKV是一个开源的非Transformer架构的大型语言模型，它支持100多种全球语言及多种编程语言，展示了非Transformer架构在大型模型中的潜力。
10，Yan架构：
        由岩芯数智开发的Yan是一个非Attention机制的大模型，它提供了高训练效率、高推理吞吐和强大的记忆能力，支持CPU无损运行。
11，RetNet：
        RetNet提出了一种名为"retention"的机制来替代传统的"attention"机制，旨在实现训练并行化、低成本推理和良好的性能。