相同点
传统神经网络的扩展
前向计算产生结果,反向计算模型更新
每层神经网络横向可以多个神经元共存,纵向可以多层神经网络链接
不同点
CNN空间扩展,神经元与特征卷积,RNN时间扩展,神经元与多个时间输出计算
RNN可用于描述时间上的连续状态输出,具有记忆功能,CNN静态输出
CNN100+深度 RNN深度有限
组合意义
- 大量信息同时具有时间空间特性:视频,图
文结合,真实的场景对话 - 带有图像的对话,文本表达更具体
- 视频相对图片描述的内容更完整
组合方式
- CNN 特征提取,用于RNN语句生成 图片标注
- RNN特征提取用于CNN内容分类 视频分类
- CNN特征提取用于对话问答 图片问答
- 特征提取:LSTM输出,FC层输出
- 特征合并:Concatenate 层;Attention 相乘
- 结果输出:连续语句输出 LSTM,组合分
类回归 DNN
图片标注
问题描述
拥有大量图片及标注信息,能否通过学习
建立一个能够自动图片标注的模型
基本思路
目标是产生标注的语句,是一个语句生成
的任务,LSTM?
描述的对象大量图像信息,图像信息表达&