![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
学习笔记
文章平均质量分 60
到di有冇
这个作者很懒,什么都没留下…
展开
-
李宏毅自注意力机制(self-attention)和Transformer详解笔记
在self-attention中,a1与a2,a3,a4分布计算相关性,把a1乘以wq得到q1(q有个名字叫query),a2乘以wk得到k2(k称之为key),然后q1与q2做点积得到α1,2(老师课程中说的是inner product,推测是口误了),α1,2称为a1与a2的attention score,a3与a4同理得到a1,3和a1,4,self-attention的输入是一串的vector,这些vector可能是整个网络的输入,也可能是某个隐藏层的输出,每个b向量都是考虑所有的a向量而生成的。原创 2024-01-11 21:16:08 · 1272 阅读 · 2 评论 -
tmux简单使用
创建tmux session :$ tmux new -s name 举例:tmux new -s finetune。如果再回到之前的窗口,此处为finetune可以通过命令$ tmux attach -t finetune。此时就是处于tmux下的一个名为finetune的session中。$ apt install tmux -y 安装tmux。$ apt update -y 对apt语言进行更新。tmux可以保证终端在意外断开时,服务器任务继续进行。此时就会进入一个新的界面。原创 2024-01-12 11:09:25 · 408 阅读 · 1 评论