深度学习
文章平均质量分 87
寒衾
空空白白
展开
-
Attention算法剖析——基于pytorch库
Attention机制写在前面——定义维度符号输入数据KQV矩阵机制核心attention机制写在前面——定义维度符号字母BUEHDkqDv含义batch 大小组数据长度(例如:一句话有多少个字,一时间序列包含多少天数据)数据表示维度(例如:一个字用多少维数据表示,一天数据包含多少个不同方面的数据)多头attention机制中的头数每个头中KQ矩阵用多少维数据表示每个头中V矩阵用多少维数据表示注:Dkq和Dv一般都是相等的,但是可以不相等,不影响计算过程原创 2021-07-08 15:25:42 · 1441 阅读 · 0 评论 -
torch.nn.Transformer
文章目录TransformerTransformerEncoderTransformerDecoderTransformerEncoderLayerTransformerDecoderLayerMultiheadAttentionTransformerdef __init__(self, d_model: int = 512, nhead: int = 8, num_encoder_layers: int = 6, num_decoder_layers: int = 6, dim_feedfo原创 2021-03-11 15:29:34 · 3848 阅读 · 14 评论 -
浅谈 pytorch 中的损失函数
nn.MSELoss() 函数均方损失函数:ℓ(x,y)=L={l1,…,ln}⊤, \ell(x, y) = L = \{l_1,\dots,l_n\}^\top, \quad ℓ(x,y)=L={l1,…,ln}⊤, 其中x,y分别为两个参数,多用 input 和 target 表示,而 lnl_nln计算方式如下所示(均方损失核心部分):ln=(xn−yn)2l_n = \left( x_n - y_n \right)^2ln=(xn−yn)2 函数中参数 redu.原创 2020-11-14 19:00:34 · 319 阅读 · 0 评论 -
【pytorch】nn.LSTM 模块
nn.LSTM模块参数:Args:input_size: 输入值的维度hidden_size: 隐藏层的维度num_layers: 堆叠多个lstm层数,默认值:1bias: False则 b_ih=0 和 b_hh=0。默认值:Truebatch_first: 输入的数据是否构成(sequence,batch_size,feature)结构。默认值:Falsedropout: 除最后一层,每一层的输出都进行dropout,默认值: 0bidirectional:True则为双向lstm,原创 2020-10-17 18:57:25 · 1791 阅读 · 0 评论