关注
分享
好好学习Py
学习之路漫长无边
展开
-
Transformer中输出部分的实现
线性层用于转变维度，softmax层使最后一维的向量中的数字缩放到0-1的概率值域内, 并满足他们的和为1。这里使用了log_softmax就是对softmax的结果又取了对数，因为对数函数是单调递增函数，对最终我们取最大的概率值没有影响，最后返回结果即可。每个位置的值是经过log softmax处理的，它表示了每个词汇在当前位置上的概率对数值。输出的维度: torch.Size([2, 4, 10000])原创 2024-07-10 18:29:07 · 243 阅读 · 0 评论 -
Transfomer中的解码器层及解码器的实现
解码器由多个解码器层组成，每个解码器层根据输入数据和目标进行特征提取，这个过程称为解码。解码器的功能是利用编码器的输出和之前的预测结果，生成对下一步预测的特征表示。解码器层输出:输出维度: torch.Size([2, 4, 512])原创 2024-07-10 17:39:34 · 703 阅读 · 0 评论 -
Transformer模型整体构建的实现
【代码】Transformer模型整体构建的实现。原创 2024-07-10 23:05:51 · 1206 阅读 · 0 评论 -
Transformers中的编码器层及编码器的实现
编码器通过堆叠多个编码器层实现对输入数据的特征提取，这些层连续工作以完成编码过程。原创 2024-07-10 16:00:01 · 273 阅读 · 0 评论 -
Transfomer中的前馈全连接层、规范化层、子层连接结构
增强模型对复杂数据分布的拟合能力从输出结果可以看出，前馈全连接层成功地将多头注意力机制的输出进行处理，并保持了维度的一致性。原创 2024-07-10 01:07:45 · 590 阅读 · 0 评论 -
Transformer中输入部分的实现
无论是原始文本还是目标文本，我们都需要将它们的词汇转换成数字表示，即向量。这样做的目的是在高维空间中捕捉词汇之间的关系。输出张量的形状为，对应于两个句子，每个句子包含四个词，每个词的嵌入向量维度为 512。输出张量包含具体的嵌入向量值，这些向量通过嵌入层生成，并进行了缩放处理。原创 2024-07-09 17:16:19 · 585 阅读 · 0 评论 -
Transformer背景和架构
2018年10月，Google发表的一篇论文，论文地址:，该论文中的BERT模型横扫NLP领域11项任务的最佳成绩。而BERT模型中发挥重要作用的结构就是的优势：1.利用分布式GPU并行，提升模型训练效率；分析长文本时捕捉间隔较长的语义关联效果更好。的作用：机器翻译、文本生成、构建预训练语言模型来用于不同任务的迁移学习。原创 2024-07-06 18:29:11 · 319 阅读 · 0 评论 -
Transformer中torch.nn的几个演示
使用PyTorch 的模块创建嵌入层，并将其应用于输入张量以获得相应的嵌入表示。代码运行结果如下，将形状为[2, 4]的输入张量转换为形状为[2, 4, 3]的输出张量，其中每个词索引都被映射为一个 3 维的向量。原创 2024-07-08 16:40:16 · 923 阅读 · 0 评论