卷积网络循环网络结合-CNN+RNN
1. CNN+RNN
相同点
- 都是传统神经网络的扩展;
- 前向计算产生结果,反向计算进行模型的更新;
- 每层神经网络横向可以多个神经元共存,纵向可以有多层神经网络连接。
不同点
- CNN进行空间扩展,神经元与特征卷积;RNN进行时间扩展,神经元与多个时间输出计算;
- RNN可以用于描述时间上连续状态的输出,有记忆功能;CNN则用于静态输出;
- CNN高级结构可以达到100+深度;RNN的深度有限。
组合的意义
- 大量信息同时具有时间空间特性:视频,图文结合,真实的场景对话;
- 带有图像的对话,文本表达更具体;
- 视频相对图片描述的内容更完整。
组合方式
CNN特征提取,用于RNN语句生成->图片标注
RNN特征提取用于CNN内容分类->视频分类
CNN特征提取用于对话问答->图片问答
组合方式实现
- 特征提取:
LSTM输出(考虑不同时间研究对象的特征)&#