2024 1.27~2.2 周报——Transformer 解码器的输出是一个 float 向量。我们怎么把这个向量转换为一个词呢?通过一个线性层再加上一个 Softmax 层实现。线性层是一个简单的全连接神经网络,其将解码器的输出向量映射到一个更长的向量,这个向量被称为 logits 向量。现在假设我们的模型有 10000 个英文单词(模型的输出词汇表)。因此 logits 向量的宽度变为 10000 个单元,每个单元对应各个单词的得分。然后,Softmax 层会把这些分数转换为概率(把所有的分数转换为正数,并且加起来等于 1)。
2024 1.20~1.26周报 继续研读论文U-MixFormer: UNet-like Transformer with Mix-Attention for Efficient Semantic Segmentation