【小白学AI】图像标注Image Caption - tensorflow_models/im2txt

最新推荐文章于 2024-03-16 10:00:00 发布
VIP文章 最新推荐文章于 2024-03-16 10:00:00 发布
阅读量4.9k 收藏 18
点赞数 3
分类专栏： tensorflow 文章标签： tensorflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/johnnie_turbo/article/details/77931506
版权

Image Caption - im2txt 踩过的坑

学习Image Caption的同学在开始实践项目时，可以在github上找到一大堆不同的Image Caption Project，有很多项目也都对应的有其实现版本的论文，都很好。但是有一点不太好，大家貌似都不太愿意上传自己的参数文件，可能因为训练时间长，过程艰辛，且文件较大。本文从Google-Tensorflow/models/im2txt开始简要总结一下在实现期间的各种坑。

模型简介

Google在im2txt项目中实现自家的论文《Show and Tell: A Neural Image Caption Generator》，采用经典CNN+RNN框架。其中CNN为Inception-v3结构，RNN为LSTM结构。具体结构如下

关于该框架的细节在这里不多说，可以去看论文，本文主要说一下在工程实践时应该注意的问题，毕竟纸上得来终觉浅，绝知此事要恭行。

工程实践

在实践Image Caption中，因为大多数工程都不会给出训练好的参数文件，Google在tensorflow/im2txt中也一样，所以需要我们自己进行训练。在训练过程中，重点其实在数据准备工作中，这一步完成了后面都会比较顺利。

实践过程中，可以结合本文和im2txt官方文档一起进行。整个训练在一块NVIDIA Tesla K20m上需要花费1-2周时间，其中1周可以达到效果，2周达到峰值效果。所以这个工程对硬件和时间的要求还是比较高的。

注意一下，以下所有工程必须建立在Python2.7，否则会发生编码错误。下面详细介绍实践过程。

MSCOCO数据准备

数据下载是一个漫长的任务，在工程的第一步我们应该先让数据下载起来，再去处理其他任务，达到效率最大化。

Image Caption一般都在MSCOCO数据集进行训练，所以首要任务是下载

最低0.47元/天 解锁文章
椒泥椒泥
关注
  • 3
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
【TensorFlow】im2txt — 将图像转为叙述文本
widiot的博客
12-02 8016
下载 im2txtmodels 下面有很多模型，但是我们只需要 im2txt，不过在 Github 上面下载子文件夹很麻烦，所以还是下载整个 models，也许以后会用到其他的模型git clone https://github.com/tensorflow/models.git下载好了之后将 models/research/im2txt/im2txt 文件夹复制到你的工作区安装必要的包首先按照
Im2txt:图像字幕随时可用
05-02
笔记： 此存储库旨在为使用预训练模型的TensorFlow环境提供即用即用设置，以进行图像字幕推理。 有关从头开始或进行功能培训的信息，请参阅。 内容 型号概述 介绍 Show and Tell模型是一个深层的神经网络，它学习如何描述图像的内容。 例如： 显示和讲述：神经图像字幕生成器 本文描述的图像到文本模型的TensorFlow实现： “展示和讲述：从2015年MSCOCO图片字幕挑战赛中学到的经验。” Oriol Vinyals，Alexander Toshev，Samy Bengio，Dumitru Erhan。 IEEE关于模式分析和机器智能的交易（2016）。 全文请访问： ： 建筑学 请参考原始的Tensorflow模型库。 要求 安装必需的软件包 我强烈建议您在CLI中运行pip install -r requirement.txt required.
Windows下运行谷歌的im2txt（NIC）模型
heros_never_die的博客
03-31 5069
前言： 一些caption论文在谷歌NIC（下称im2txt）模型改进，原文为《Show and Tell: A Neural Image Caption Generator》以及《Show and Tell: Lessons learned from the 2015 MSCOCO Image Captioning Challenge》想跑这个模型，至少你已经对的文章有所了解，这里就不重复了。...
Image-Caption-IR--Im2txt
05-01
重要的提示 受Oriol Vinyals，Alexander Toshev，Samy Bengio，Dumitru Erhan所做工作的启发。 用于图像字幕的Show and Tell模型的一种基本且简化的版本（即用型参考）。 跑步 下载，并将其放置在model/train 根据您的TF版本修复代码。 （推荐版本1.2） python fix_ckpoints.py 这将生成所需的checkpoint文件，指向TF检查点文件。 修复python代码。 请参阅 在图像上运行推断： ./inference.sh 根据需要修改路径 内容 型号概述 介绍 Show and Tell模型是一个深层的神经网络，它学习如何描述图像的内容。 例如： 建筑学 Show and Tell模型是编码器-解码器神经网络的一个示例。 它的工作原理是先将图像“编码”为固定长度的矢量表示形式，然后将其“解码
图像描述(image caption)模型简单demo(源码理解原理)
最新发布
weixin_38252409的博客
03-16 1169
图像描述模型简单理解是通过图像给出一段描述内容，实际也类似一种生成模式，和我一篇博客讲的对话模型相似。然而，网络很少从代码层次去说明图像描述具体做法与细节。基于此，我原创一个简单模型，旨在帮助理解原理，但不具备很好效果能力。涉及到文本相关内容，文本数据最终都是转为对应字典索引代表其文本内容，输入模型加工，实现文本相关任务，图像描述模型也不列外。点击这里# 我这里假设构造一个图像特征是一个且对应描述也是一个vocab_size = 11 # 字典大小，也是后面概率预测数，一般是32000。
image2text:Google针对tensorflow的im2txt模型的实现（已针对Python 3.5.2和TensorFlow 1.0.1更新）。 不需要Bazel
05-13
image2text Google针对tensorflow的模型的实现（已针对Python 3.5.2和TensorFlow 1.0.1更新）。 它也可以在Windows中运行，并且不需要bazel。 要求 的Python 3.5 TensorFlow 1.0.1（pip安装tensorflow） im2txt训练有素的模型，您可以找到一些。 我用了 。 入门 按照前面引用的问题中的步骤操作，可以修复预训练模型的版本问题。 只需在相应的文件位置运行下一个代码段即可。 为了更新词汇文件： OLD_VOCAB_FILE = "word_counts.txt" # the path of the vocabulary file NEW_VOCAB_FILE = "word_counts3.txt" # the path for the fixed vocabulary file wi
TensorFlow & im2txt学习笔记（一）
cnyunchao的专栏
10-28 3768
上班以来，极少读paper，恍然间外面已是深度学习的世界，虽然临毕业那会儿已经知道深度学习大热了，可惜为了毕业很难再转行了~~个人主要是做机器视觉的，特别是图像检索，传统图像检索架构基本是特征提取-编码-池化-ANN检索，我也基本上是做这些领域内的边边角角的工作，深度学习带来的冲击似乎很大，打算花时间学习一下，先从google开源的tensorflow下的im2txt开始，简单记一下笔记~
TensorFlow 使用预训练好的卷积神经网络和循环神经网络（lstm）模型处理图片转文字（im2txt）
09-03 5247
TensorFlow 使用预训练好的卷积神经网络和循环神经网络（lstm）模型处理图片转文字（im2txt） 这是AI大智慧系列文章中的一篇关于图片转文字的一篇博文，介绍了如果使用已经训练好的模型。由于本模型的训练非常耗时间，GPU下可能需要 2weeks ，如果是浦东（普通）的笔记本，天呢，估计需要一年的时间（当然夸张了，一个月的时间还是需要的，根据美国team看 需要的时间大约是gup 时间...
实战 | 一行命令实现看图说话（Google的im2txt模型）
t5131828的专栏
12-05 1932
一行命令实现看图说话|Google的im2txt模型 1.项目介绍 这次给大家介绍一个google的深度学习模型im2txt，这个模型的作用跟它的名字一样，image-to-text，把图像转为文字，也就是图片描述。 这个模型是使用 2015 MSCOCO Image Captioning Challenge 的数据集训练出来的 论文链接 项目参考 我对原始googel的项目做了很多简化，减少了...
基于densenet的im2txt实现(tensorflow)
GlaDOS.AI的博客
08-06 1506
系统环境：python3.6,  tensorflow1.4.0, ubuntu 摘要：im2txt用于将图像转为文字描述。在原版的im2txt中，使用inceptionV3 对图像进行压缩编码，然后使用lstm进行decode，得到文字描述。本次实验有所改进，采用17年的新网络densenet替代V3，需要更改部份代码。另外在实验方法上，没有用bazel也不是在python2.7运行，所以更改...
图像描述show and tell代码im2txt阅读（TensorFlow官方实现）杂七杂八记录（草稿一：数据预处理部分）
Curya的博客
04-25 1109
数据预处理部分代码 代码位于im2txt/data/build_mscoco_data.py MS COCO数据集并不是每一张图片正好包含5个描述语句，训练集中就有126张图片有6个描述，1张图片有7个描述。（我之前一直以为规规整整每张图像就5个参考描述） namedtuple有点类似与C语言、C++中的结构体？可以按照其命名访问元素。 DemoData = namedtuple('Stude...
coco数据集里的annotations_trainval2014.zip
08-07
COCO is a large-scale object detection, segmentation, and captioning dataset. COCO has several features: Object segmentation Recognition in context Superpixel stuff segmentation 330K images (>200K labeled) 1.5 million object instances 80 object categories 91 stuff categories 5 captions per image 250,000 people with keypoints
train2014.zip 百度云分享
12-10
这是微软coco数据集中的2014训练数据：train2014.zip，大约包括83K张图片，但不包括这些数据的标签文件。若需要后者，请下载我的“annotations_trainval2014.zip百度云分享”资源。
安装TensorFlow2.3.0所用文件.txt
08-31
我自己离线安装tensorFlow2.3.0所用到的文件，包括离线包，可参考我的博文进行安装https://editor.csdn.net/md?not_checkout=1&articleId=108317381
【TensorFlow】im2txt — 将图像转为叙述文本-附件资源
03-02
【TensorFlow】im2txt — 将图像转为叙述文本-附件资源
Automatic-Image-Captioning-master_imagecaption_python_Imagecapti
10-04
python code for automatic image caption
cvpr18-caption-eval:学习评估图像字幕。 CVPR 2018
05-13
学习评估图像字幕 本文的TensorFlow实现： ，，，，CVPR 2018 该存储库包含一个可用于评估图像字幕系统的鉴别器。 鉴别器受过训练，可以区分机器生成的字幕和人工书写的字幕。 在测试过程中，训练有素的鉴别器将...
Image-Caption-Generation:InceptionV3-多层GRU（Keras和TensorFlow）
03-18
图像字幕生成 InceptionV3-多层GRU（Keras和TensorFlow） 要求： Python 3.6 TensorFlow 1.13.1（安装tensorflow-1.13.1-cp36-cp36m-win_amd64.whl） 凯拉斯2.2.4 Joblib 1.0.1 Matplotlib 3.3.4 Open CV ...
Image-Caption-Generator:使用CNN和RNN生成图像描述
03-26
图像字幕生成器 使用CNN和RNN生成图像描述。
FileNotFoundError: [Errno 2] No such file or directory: '/home1/lpj/Grounded-Image-Captioning-master/coco-caption/pycocoevalcap/wmd/data/GoogleNews-vectors-negative300.bin'
07-25
根据您提供的错误信息，程序正在尝试访问路径为 '/home1/lpj/Grounded-Image-Captioning-master/coco-caption/pycocoevalcap/wmd/data/GoogleNews-vectors-negative300.bin' 的文件。请确保该路径下的文件存在，并且...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值