- 博客(2)
- 收藏
- 关注
RSS订阅原创 理解Transformer的self-attention中的view()函数
可以看到，c1c2，c4c5，c7c8，c10c11这几个被割开的词向量在新的tensor中还是在同一sequence中处理，没有达到多头注意力在不同表示子空间学习的目的。可以看到，被分割的词嵌入向量分配到不同的sequence中，达到了多头注意力在不同表示子空间学习的目的。如果query的形状是（B，T，C），在经过这句代码处理会变成（B*H，T，C/H），H为头数。同样可以把query的形状变成（B*H，T，C/H）。假设输入张量为query的形状是（2，3，C）自注意力机制的多头处理是这样实现的。
2023-04-28 23:08:35
117
1
原创 批量将20张图片的二进制码转成verilog测试文件
在coe子文件夹创建in.txt,out.txt，然后把20张图片的二进制码（由13-out-img.py输出）粘贴进in.txt，运行代码就可以在out.txt得到测试代码，粘贴进Test_MNIST.v即可仿真。基于皮皮宽的https://blog.csdn.net/kuan__/article/details/122769688#comments_26259977。
2023-04-28 11:42:52
205
2
空空如也
关于#fpga开发#的问题：仿真无结果
2023-04-27
TA创建的收藏夹 TA关注的收藏夹
TA关注的人