图文融合微博情感分析（小记）

单独基于文本和图片方法，不能充分挖掘微博用户情感问题，提出图文融合的微博情感分析方法。对大规模图片数据集上预训练的CNN模型参数进行迁移，以微调的方式训练图片情感分类模型FCNN；训练词向量输入可提取文本语义单元上下文特征的双向LSTM中，训练文本情感分类模型WBLSTM；根据late fusion的模型融合思想，设计模型融合公式融合FCNN和WBLSTM模型，进行图文融合的微博情感分析。

目前图文融合的微博情感分析存在问题:

图片的低层特征和中层属性并不能高度抽象图片的情感，导致图片情感分类效果不佳。

微博文本简短而不规范，词袋模型等文本表示方法丢失重要的语义信息。传统的机器学习难以捕捉文本的上下文信息。

现有的图文融合方法只是简单的将文本特征与图片特征拼接，未充分考虑文本与图片之间的互补作用。

 

文章所应用的图文融合微博情感分析方法:该方法首先以参数迁移的方式初始化CNN模型，并对参数迁移后的CNN模型微调训练得到图片情感分类模型FCNN(fine-tuned CNN);然后利用词嵌入技术将文本表示为数值稠密的词向量，输入BILSTM之中训练得到文本情感分类模型WBLSTM(word－embedding bidi-rectional LSTM),最后设计模型融合公式融合FCNN和WBLSTM。

 

FCNN模型结构:

 

网络结构函数参数叙述:

 

 

LSTM网络结构叙述: