![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
AI
道2024
AI安全
展开
-
文本生成图像注意力机制
文本生成图像经常会用到注意力机制。给定一段文本描述,通过赋予这段文本中关键词更高的权重信息使得生成的图像质量更高。具体的过程如下所示:首先通过仿射变换将文本的词向量转换为图像特征空间的特征向量。然后利用输入图像的特征与词向量转换后的特征计算注意力分布。最后根据注意力分布,求出输出的图像特征。...原创 2021-05-10 12:56:59 · 666 阅读 · 0 评论 -
文本注意力机制
Attention机制介绍 Attention特指在预测结果时把注意力放在不同的特征上。比如在预测“天气真好”这句话的正负情感时,真正影响预测结果的只有“真好”这两个字,前面说的“天气”基本对预测结果起不到用处,如果是直接对token embedding进行平均去求句子表示会引入不少噪声。引入attention机制,可以让我们可以根据任务目标赋予输入token不同的权重,即前半句“天气”的赋予低权重,后面的“真好”的赋予高权重。具体公式则有如下所示天:v1∈Rl,气:v2∈Rl真:v3∈Rl,好:v4∈原创 2021-05-10 12:25:12 · 1043 阅读 · 1 评论