图像描述的含义是生成图像的描述,采用注意力机制生成图像标题,图像标题的每个词集中在图像中最相关的部分,并且预测下一个词。
如下图的图像生成:
图像标题:<start>a large airplane flying in the blue sky <end>
图像标题生成框架:
该框架涉及的几个概念:
图像编码(Encoder):将具有3个彩色通道的输入图像编码成具有“学习”通道的较小图像,这些编码图像包含了原始图像的信息。
图像解码(Encoder):将编码图像逐字生成标题。
注意力网络(Attention):编码与词相关的图像,每个标题的词集中在图像最相关的部分。
束搜索(Beam search):解码器逐字生成的标题序列中,束搜索算法得到最优的标题序列。
下面详细介绍这几个概念。
1.图像编码
我们使用ResNet-101网络去编码图像,需要去除最后两层的线性层,因为最后两层的线性层是用于分类任务的,图像编码只需提取特征。
图像编码网络如下图:
ResNet网络编码的结果是由2048个通道大小为14×14图像组成,模型参数通过迁移学习获得。
2.图像解码
解码器是根据编码图像逐字生成标题,这里使用循环神经网络(RNN)生成标题序列,选择的RNN类型为LSTM。
若解码器不使用注意力机制,那么解码器的算法流程是:首先对编码图像所有像素进行平均,得到2048×1的向量,然后无论对该向量是否进行线性变换,都可以将其作为第一个隐藏状态输入解码器,生成第一个单词,并用该单词作为输入生成下一个单词。
若解码器使用注意力机制,那么解码器在生成单词时,需要考虑该单词最相关的图像部分。比如语句序列a man holds a生成单词football时,解码器需要关注图像中足球所在的区域,并给该区域较大的权重。
如下图含有注意力机制的解码器:
解码器网络的输入是前一个RNN单元的输出隐藏层,上一个单词的嵌入向量和注意力网络生成的权重图像,算法代码需要将嵌入向量和注意力网络拼接成一个向量作为输入。
3.注意力网络
注意力网络计算与词相关的像素权重。
凭自己的直觉,如何估计图像某一部分的重要性?若要突出图像某一区域的重要性,那么需要提高该区域的权重。
在图像描述项目中,你需要了解到目前为止生成的序列,根据注意力网络生成像素权重,并决定接下来需要描述什么。
这正是注意力机制所做的——它考虑目前为止所生成的序列,并关注接下来需要描述的图像部分。如下图:
4.图像描述框架
根据前面介绍的编码器,解码器和注意力机制,图像描述框架如下图:
算法流程:
1)编码器编码输入图像的信息,生成1048个通道大小为14×14的图像,编码器采用ResNet-101网络,不包括网络最后两层的线性层。
2)注意力网络根据编码图像和上一层解码器的输出隐藏状态,生成与下一个单词相关的图像。
3)解码器生成图像的标题序列,解码器采用LSTMcell网络。
5. 束搜索(Beam Search)
我们使用线性层将解码器的输出转换为词汇表中每个单词的得分。
最直接和贪婪的方法是选择当前得分最高的单词来预测下一个单词,这种做法很可能生成的不是最佳序列,因为剩下的单词序列取决于你选择的第一个单词。如果第一个单词不是最好的,那么接下来的序列预测都是次优的。
解决方法是:每次解码器都选择最好的3个单词,比如你在第一步选择3个最好的单词,第二步根据第一步的每个单词,都生成3个最好的单词,即第二步共生成9个单词。结合第一步第二步,选择最优的3个单词序列。以此类推,当预测单词为<end>时,标题序列生成结束。
如下图的束搜索算法生成最优标题序列:
由上图可知,最优标题序列为:a man holds a football
参考
https://github.com/sgrvinod/a-PyTorch-Tutorial-to-Image-Captioning
备注:公众号菜单包含了整理了一本AI小抄,非常适合在通勤路上用学习。
往期精彩回顾
那些年做的学术公益-你不是一个人在战斗适合初学者入门人工智能的路线及资料下载机器学习在线手册深度学习在线手册AI基础下载(第一部分)备注:加入本站微信群或者qq群,请回复“加群”
加入知识星球(4500+用户,ID:92416895),请回复“知识星球”
喜欢文章,点个在看