![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
预训练模型
文章平均质量分 77
预训练模型
辰阳星宇
这个作者很懒,什么都没留下…
展开
-
【Transformer从零开始代码实现 pytoch版】Transformer架构各个部件详细分析代码合集
【Transformer从零开始代码实现 pytoch版】(一)输入部件:embedding+positionalEncoding【Transformer从零开始代码实现 pytoch版】(二)Encoder编码器组件:mask + attention + feed forward + add&norm【Transformer从零开始代码实现 pytoch版】(三)Decoder编码器组件:多头自注意力+多头注意力+全连接层+规范化层【Transformer从零开始代码实现 pytoch版】(四)输出部件:原创 2023-11-15 09:46:50 · 177 阅读 · 0 评论 -
【Transformer从零开始代码实现 pytoch版】(六)模型基本测试运行
【代码】【Transformer从零开始代码实现 pytoch版】(六)模型基本测试运行。原创 2023-11-14 16:40:21 · 428 阅读 · 0 评论 -
【Transformer从零开始代码实现 pytoch版】(五)总架构类的实现
""" 编码器解码器架构实现、定义了初始化、forward、encode和decode部件"""""" 传入五大部件参数:param encoder: 编码器:param decoder: 解码器:param source_embed: 源数据embedding函数:param target_embed: 目标数据embedding函数:param generator: 输出部分类被生成器对象"""self.generator = generator # 生成器后面会专门用到。原创 2023-11-13 17:47:12 · 172 阅读 · 0 评论 -
【Transformer从零开始代码实现 pytoch版】(四)输出部件:Linear+softmax
通过对上一步的线性变化得到指定维度的输出,也就是转换维度的作用。其中,softmax层的作用是使最后一维的向量中的数字缩放到0-1的概率值域内,并满足他们的和为1。线性层+softmax层。原创 2023-11-13 10:37:24 · 163 阅读 · 0 评论 -
【Transformer从零开始代码实现 pytoch版】(三)Decoder编码器组件:多头自注意力+多头注意力+全连接层+规范化层
作为解码器的组成单元,每个解码器层进行特征提取操作,即解码过程。原创 2023-11-13 10:21:13 · 193 阅读 · 0 评论 -
【Transformer从零开始代码实现 pytoch版】(二)Encoder编码器组件:mask + attention + feed forward + add&norm
编码器部分:掩码张量:掩代表遮掩,码就是我们张量中的数值,它的尺寸不定,里面一般只有1和0的元素,代表位置被遭掩或者不被遮掩,至于是0位置被遮掩还是1位置被遭掩可以自定义,因此它的作用就是让另外一个张量中的一些数值被遮掩,也可以说被替换它的表现形式是一个张量。作用: 通过预测遮掩的内容,来评估模型的预测能力。在transformer中,掩码张量的主要作用在应用attention时,有一些生成的attention张量中的值计算有可能已知了未来信息而得到的,未来信息被看到是因为训练时会把整个输出结果都一次性进原创 2023-11-09 14:07:59 · 846 阅读 · 0 评论 -
【Transformer从零开始代码实现 pytoch版】(一)输入部件:embedding+positionalEncoding
因此,需要想办法加入词序之间的信息,就有了Positional Encoding.。原创 2023-11-07 18:01:29 · 410 阅读 · 0 评论 -
【t5 pytorch版源码学习】t5-pegasus-pytorch源码学习
所有自定义的数据集类都需要继承自 Dataset 类,并实现其中的抽象方法。Dataset 类的主要作用是提供对数据集进行加载、处理和索引的功能,以便在训练、验证或测试过程中使用。通过使用 Dataset 类,可以将数据集封装为一个可迭代的对象,便于与数据加载器(DataLoader)结合使用,实现数据的批处理和并行加载。原创 2023-11-03 09:48:06 · 1384 阅读 · 2 评论