深度学习常用公式及其实现

位置编码

#公式1
def get_positional_encoding(max_seq_len,embed_dim):
    #初始化一个positional encoding
    #embed_dim: 字嵌入维度
    #max_seq_len: 最大序列长度
    positional_encoding = np.array([[pos/np.power(10000,2*i/embed_dim) for i in range(embed_dim)]
                                    if pos != 0 else np.zeros(embed_dim) for pos in range(max_seq_len)])
    positional_encoding[1