CNN+RNN

本文探讨了CNN与RNN在图像标注、视频行为识别和图片问答等任务中的组合使用。CNN用于特征提取,RNN则处理时间序列数据,如在LSTM中生成语句。通过特征提取、融合和结果输出,它们共同解决了具有时空特性的信息处理问题。在视频行为识别中,CNN与LSTM结合以确定有用帧并进行精确分类。在图片问答任务中,同样利用CNN提取图像特征与语言问答流程相结合。
摘要由CSDN通过智能技术生成

相同点

传统神经网络的扩展
前向计算产生结果,反向计算模型更新
每层神经网络横向可以多个神经元共存,纵向可以多层神经网络链接

不同点

CNN空间扩展,神经元与特征卷积,RNN时间扩展,神经元与多个时间输出计算
RNN可用于描述时间上的连续状态输出,具有记忆功能,CNN静态输出
CNN100+深度 RNN深度有限

组合意义

  1. 大量信息同时具有时间空间特性:视频,图
    文结合,真实的场景对话
  2. 带有图像的对话,文本表达更具体
  3. 视频相对图片描述的内容更完整

组合方式

  1. CNN 特征提取,用于RNN语句生成 图片标注
  2. RNN特征提取用于CNN内容分类 视频分类
  3. CNN特征提取用于对话问答 图片问答
  4. 特征提取:LSTM输出,FC层输出
  5. 特征合并:Concatenate 层;Attention 相乘
  6. 结果输出:连续语句输出 LSTM,组合分
    类回归 DNN

图片标注

问题描述
 拥有大量图片及标注信息,能否通过学习
建立一个能够自动图片标注的模型

基本思路

 目标是产生标注的语句,是一个语句生成
的任务,LSTM?
 描述的对象大量图像信息,图像信息表达&

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值