- 博客(7)
- 收藏
- 关注
RSS订阅原创 latex 问题汇总
1.图片插入后标题改为Fig.而不是Figure.并加粗，在代码最前部分添加 \captionsetup[figure]{labelfont={bf},labelformat={default},labelsep=period,name={Fig.}} \usepackage[font=small,labelfont=bf,labelsep=none]{caption}编译之前要在 begin thebibliography上面输入\cite{*},然后会有报错，但依旧可以继续使用，
2023-07-13 14:37:44
306
1
原创 colab使用步骤
1.首先能通过特殊方法进入colab官网https://colab.research.google.com/?utm_source=scs-index2.新建一个notebook3.修改笔记本设置使用gpu加速4.上传代码所在的文件夹，因为只能上传的是压缩包使用先压缩6.输入解压缩指令!unzip/content/yolov5-v6.1.zip7.将路径调到所需的文件夹路径 %cd/content/yolov5-v6.18.安装...
2022-05-02 14:45:08
1577
2
原创 李宏毅transformer（学习记录）
在S2S任务中，主要就是input进入encoder，然后经过decoder得到输出transformer中的encoder结构，其作用就是输入一排向量，输出另一段向量，可以用self-attention，RNN，CNN模型完成、在transform中用的是attention下面是encoder结构，input经过一系列的block，最后得到另外一组向量，接下来是每个block的解析，以input为单独一个蓝色标签b为例，首先输入经过attention得到a,然...
2022-04-25 16:28:57
716
原创 vision-transformer(b站霹雳吧啦博主）
怕自己以后找不到博文链接先记录下来Vision Transformer详解_太阳花的小绿豆的博客-CSDN博客_vit详解
2022-04-25 15:13:55
1519
原创 李宏毅老师multi-head self-attention
需要多少个head是需要自己调参的在找相关性的时候使用的是q并且与k点乘，但两个事物的相关性可能有不同的种类的相关性，所以可能需要多个q，来表示多种不同的相关性，如何得到两个不同的q，即再乘以不同的wq1，wq2，现在已经可以得到多个头了，那多个头怎么得到v？由于有两个头，但原理与之前一样，此时q1，q2两头，其中q1只与k1点成，在与v1点乘得到b1，q2只与k2点成，在与v2点乘得到b2最后将b1，b2乘以某个权重之前的ppt中只讲了如何得到各个input之间的联..
2022-04-24 14:56:06
233
原创 李宏毅机器学习-self attention（自己日后怕忘复习记录的）乱写的
要考虑到a1,a2,a3,a4之间的关联，使用全连接层参数量大，且长度不一，改用attention要考虑到a1，与其余的几个了联系，就要知道联系的权重阿法（a），下面如何得到a？第一种方法如左图，给a1，a2乘上不同的权重矩阵，得到q，k矩阵，将其在相乘得到阿法方法二：忽略将上面步骤运用到4个vector中首先算出a1的q1，再将a2，a3，a4算出k2，k3，k4，并做点乘，同时，a1自己与自己也要做点成操作，即算出a1的q，k，所有结果做softmax（...
2022-04-24 14:22:17
1268
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人