深度学习
文章平均质量分 94
甄知一二
南七技校在读博
展开
-
DRL(自用)
DRL原创 2023-07-23 20:59:46 · 249 阅读 · 0 评论 -
transformer详解(自用)
transformer原创 2023-07-23 16:59:47 · 517 阅读 · 0 评论 -
Attention详解(自用)
在注意力机制中,Q(Query)、K(Key)和V(Value)是三个重要的输入向量,它们在计算注意力权重时起到不同的作用。Query(Q):Query是用来表示当前位置或当前时间步的输入信息,它用来计算注意力权重,决定模型在当前位置需要关注的信息。Query向量通常是通过对当前位置的输入进行线性变换得到的。Key(K):Key用来表示其他位置或其他时间步的输入信息,它用来计算当前位置与其他位置之间的关联程度。Key向量通常也是通过对其他位置的输入进行线性变换得到的。原创 2023-07-23 10:56:54 · 219 阅读 · 0 评论 -
深度学习(重要知识摘录)
Seq2SeqSeq2Seq一般是通过Encoder-Decoder(编码-解码)框架实现CTC是狭义的,Seq2Seq是广义的,从结果上来说,CTC是强制的一对一对应关系,Seq2Seq是具有弱约束的多对多对应关系Encoder-Decoder模型可以预测任意的序列对应关系,但同时也有一个很大的问题就是从编码到解码的准确率很大程度上依赖于一个固定长度的语义向量c,输入序列到语义向量c的压缩过程中存在信息的丢失,并且在稍微长一点的序列上,前边的输入信息很容易被后边的输入信息覆盖,也就是说编码后的语义原创 2021-06-10 21:06:50 · 371 阅读 · 3 评论