这篇文章的主要贡献:
1.采用CNNc+DPN处理ImageQA任务,DPN的参数根据给定问题动态生成。
2.采用一个Hash trick对参数降维
3.通过在一个大的文本集上fine-tune GRU,提升网路的泛化性能
4.首次同时在DAQUAR,COCO-QA,VQA上进行实验
论文整体框架:
这个网路主要由两个部分组成:CNN和Dynamic Parameter Networks。CNN的全连接层作为Dynamic Parameter Layer,它的参数由Parameter Prediction Network提供。参数预测网路由GRU+fully-connected layer构成,输入一个问题生成一个向量,这个向量就是Dynamic parameter layer的候选参数。
文中采用的的CNN基于VGG-16,将VGG-16最后一层移除,连接上三层全连接层。文中采用GRU对Question Embedding,根据GRU的输出ht得到候选权重向量P=[p1,p2,p3…,pn]T,
Wp是参数预测网路全连接层的权重。
Dynamic Parameter Layer从动态参数网路获取的权重可能维度太大,需要进行降维。文中采用基于Hashing的随机权值共享技术进行降维。
这篇文章采用参数预测网路生成动态参数,同时将VGG-16改成拥有三层全连接层的CNN网路,并且将动态参数作为中间全连接层的动态权重,结合提取的图像特征,进行分类得到预测答案。
Image Question Answering using Convolutional Neural Network with Dynamic Parameter Prediction
最新推荐文章于 2022-07-28 09:12:49 发布