- 博客(3)
- 收藏
- 关注
RSS订阅原创 Date Whale AI夏令营：多模态大模型数据合成
MGM-2BMGM-2B是一种多模态生成模型，具备处理图像和文本信息的能力，常用于任务如图像描述生成、图像再标注、视觉问答等。MGM-2B基于大型Transformer架构，能有效建模图像与文本之间的复杂关系。该模型通常通过预训练和微调两个阶段来提升其在特定任务中的表现。架构：MGM-2B基于Transformer的架构，通过多层自注意力机制来处理输入的图像和文本数据。任务：适用于多模态任务，如图像标注、文本生成、视觉问答等。训练策略。
2024-08-15 11:18:56
763
原创 Datawhale AI 夏令营 - 基于transformer和术语词典的机器翻译
创建一个形状为 (max_len, d_model) 的零矩阵# 生成一个形状为 (max_len, 1) 的位置索引矩阵# 计算位置编码的分母项# 对偶数维度进行正弦变换# 对奇数维度进行余弦变换# 添加批次维度并转置以符合后续操作# 注册为持久缓冲区，不作为模型参数更新# 将位置编码加到输入上位置编码 (Positional Encoding): 用于在序列模型中注入位置信息，使得模型能够区分序列中不同位置的元素。Transformer 模型。
2024-07-20 19:09:35
834
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人