- 博客(19)
- 收藏
- 关注
原创 Mac M1 Pro远程配置Ubuntu Meltingpot环境
4、本地安装Xquartz,然后按照下面的文章操作。2、显示文字报错,根据提示pip安装缺少的文字。5、安装OpenGL库(注意要一一对应)6、训练的时候记得执行下面的命令。1、配置好Openjdk版本。7、有个ray兼容性问题。
2023-07-11 10:37:12 205 1
原创 Transformer——自注意力机制
这里要注意values,keys,query三个数据的大小[batch_size,seq_len,embed_size],这里的batch_size表示批量大小,seq_len表示具体句子里面单词的个数,embed_size表示每个单词由多少维度的特征表示。传入的数据要判断是否经过掩码,之后我们将得到的energy缩放,得到attention,然后attention和对应的values进行计划,得到最后的输出。最后注意,由于由有个头,我们输出的时候要将heads个头拼接起来,得到最后一个输出。
2023-06-27 10:14:18 413 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人