山东大学软件学院创新项目实训DrugLLM-基于大语言模型的药物分子性质分析平台（二）

目录

一、本周进度

二、学习内容

2.1 vue和后端技术栈

2.2 Transformer

三、学习过程中出现的问题记录

一、本周进度

前后端框架搭建基本完成，下一步计划进行前端美化。

二、学习内容

2.1 vue和后端技术栈

主要包括动态路由、文件上传、权限管理等。

2.2 Transformer

        首先，Transformer摒弃了循环神经网络（RNN）架构，转而采用完全基于注意力机制的设计。这种设计使得模型能够并行处理输入序列中的所有元素，极大地提高了训练速度和计算效率。具体而言，Transformer由一系列堆叠的编码器和解码器层组成，每个层内部均包含自注意力子层和前馈全连接网络（FFN）子层，各层间通过残差连接和层归一化进行整合。

        在编码器部分，核心在于多头自注意力机制。举例来说，对于一个英文到法文的翻译任务，当模型处理英文句子“Hello, world!”时，多头自注意力允许每个英文单词（如“Hello”和“world”）同时考虑句子中其他所有单词的影响，通过计算“Query-键-值”三元组的相关性，动态地分配注意力权重。每个单词由此获得一个综合了全局上下文信息的新表示。这一过程在多个并行的注意力头中独立进行，每个头专注于捕捉特定类型的依赖关系，最终通过拼接和线性变换融合各头结果，形成更丰富、多样化的单词表示。这种全局视野和并行化处理显著增强了模型对输入序列复杂依赖结构的理解能力。

        解码器部分则采用自回归方式，确保在生成法文译文时遵循从左到右的时间顺序。解码器的自注意力子层只允许每个待生成单词关注已经生成的单词（如先生成“Bonjour”，再考虑生成“monde”），以符合语言生成的因果性要求。此外，解码器还引入了“编码器-解码器注意力”子层，使得在生成法文单词时，能够直接聚焦于与之对应的英文输入序列中最具相关性的部分，如在生成“monde”时重点参考“world”的表示。这样，解码器既能利用过去生成的信息，又能有效借鉴编码器提供的源语言上下文，协同生成恰当的译文。

        在训练和预测阶段，Transformer利用大量双语对照数据，通过最大化目标译文序列的条件概率来进行参数优化。预测时，可以选择贪心解码（每次都取概率最大的单词作为下一个输出）或更复杂的束搜索策略（维护多个翻译候选路径，每步保留概率最高的路径集合，最终选取整体概率最高的完整译文），以平衡翻译速度和质量。

        Transformer凭借其创新的多头自注意力机制、自回归解码结构以及强大的并行计算能力，成功克服了传统序列模型在处理长距离依赖时的局限性，极大地提升了翻译质量和训练效率，为自然语言处理领域的模型设计树立了新的标杆，并启发了一系列后续研究与应用。

三、学习过程中出现的问题记录

vue中的折叠组件中子组件向父组件传递数据的问题：

问题：点击折叠图标后发现可以折叠，但是无法再次展开，发现是前端无法在父组件中察觉collapse的变化（也就是无法传输collapse的值）。

分析原因：写了@click=“collapse”，也就是点击后触发collapse函数collapse（），这与boolean collapse变量重名，导致冲突。

解决：将函数名换成func_collapse(不同于collapse即可)。