Pytorch
文章平均质量分 80
摩天崖FuJunWANG
今天的你,要比昨天优秀。
展开
-
Transformer实现以及Pytorch源码解读(五)-多头注意力机制MultiheadAttention
源码总对于num_head的处理有代码冗余的情况。原创 2022-12-23 18:49:09 · 3088 阅读 · 0 评论 -
Transformer实现以及Pytorch源码解读(四)-Encoder层
至此,数据流在Transormer编码层的流动过程已经清晰,除了MultiheadAttention,其他的代码和层的设置都是pytorch中的基本操作,不再详细追踪底层实现。MultiheadAttention的代码实现在下节中进行分析。原创 2022-12-23 11:00:52 · 5198 阅读 · 0 评论 -
Transformer实现以及Pytorch源码解读(三)-位置编码Position Encoding——史上最容易理解
位置编码的数学定义如下公式所示:从公式上可以看出,在对位置信息进行编码的过程中主要涉及到两个索引:p和i,其中,p表示,某个单次在一个句子中的位置,该位置用索引表示,索引从0开始;其中的i表示,某个数值,在embedding后形成的向量中的位置,该位置也用索引表示,并且索引从0开始。可以搭配下图进行理解。比如0.03这个元素的p=0并且i=0, 而0.07这个元素的p=1,i=1。从inputs到向量矩阵的表示过程可以参考我前面的博客。原创 2022-12-22 00:24:33 · 4163 阅读 · 4 评论 -
Transformer实现以及Pytorch源码解读(二)-embedding源码分析
Embedding的过程源码解读原创 2022-12-20 11:16:50 · 2977 阅读 · 2 评论 -
Transformer实现以及Pytorch源码解读(一)-数据输入篇
以词性标注任务为例子,实现Transformer,并分析实现Pytorch的源码解读。原创 2022-12-20 10:32:32 · 1279 阅读 · 0 评论