qq_37650969的博客

if attn_mask is not None: if attn_mask.dtype == torch.bool: attn_output_weights.masked_fill_(attn_mask, float('-inf')) else: attn_output_weights += attn_mask使用MultiheadAttention做self-attention时因为batch内序列长度不一致，...

本文默认读者对GAN有基本的了解，对以下公式：（1）了然于胸，其中D代表Discriminator，G代表Generator，表示真实数据的密度函数，一般为噪声的密度函数。GAN在模拟连续变量的分布中表现得不错，但无法直接应用于离散变量，因为Generator往往最终通过softmax函数输出一个关于所有离散点的概率向量，无法生成one-hot形式输出，足够好的D可以轻易的区分出合成数据和...