show and tell 用tensorflow实现

最新推荐文章于 2021-07-15 15:26:42 发布
最新推荐文章于 2021-07-15 15:26:42 发布
阅读量691 收藏 1
点赞数
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mr_muli/article/details/88853178
版权

训练集下载地址：
http://msvocds.blob.core.windows.net/coco2014/train2014.zip

验证集下载地址：
http://msvocds.blob.core.windows.net/coco2014/val2014.zip

图像描述下载地址：
http://msvocds.blob.core.windows.net/annotations-1-0-3/captions_train-val2014.zip

下载 训练集 和 验证集 ，并且转换格式：
bazel-bin/im2txt/download_and_preprocess_mscoco “data/mscoco”

在Inception V3 模型上微调：
train-00225-of-00256

训练：
bazel-bin/im2txt/train
–input_file_pattern=“data/mscoco/train-00225-of-00256”
–inception_checkpoint_file=“data/pretrained/inception_v3.ckpt”
–train_dir=“data/model/train”
–train_inception=false
–number_of_steps=80000

验证：
bazel-bin/im2txt/evaluate
–input_file_pattern=“data/mscoco/val-00003-of-00004”
–checkpoint_dir=“data/model/train”
–eval_dir=“data/model/eval”

测试：
bazel-bin/im2txt/run_inference
–checkpoint_path=data/model/train
–vocab_file=data/mscoco/word_counts.txt
–input_files=g3doc/002.jpgmuli

木里先森
关注
专栏目录
Tensorflow实现：图像描述---Show and Tell: A Neural Image Caption Generator
Laurenitum0716的博客
02-24 1万+
Tensorflow实现：图像描述—Show and Tell: A Neural Image Caption Generator Introduction Image Caption是一个融合计算机视觉、自然语言处理和机器学习的综合问题，它类似于翻译一副图片为一段描述文字。该任务对于人类来说非常容易，但是对于机器却非常具有挑战性，它不仅需要利用模型去理解图片的内容并且还需要用自然语言去...
Tensorflow实现：图像描述---Show and Tell: A Neural Image Caption Generator-附件资源
03-02
Tensorflow实现：图像描述---Show and Tell: A Neural Image Caption Generator-附件资源
tensorflow实现 Show and Tell: A Neural Image Caption Generator 模型
qq_38343151的博客
11-04 479
""" 设计步骤 1. Data generaor:训练模型时提供数据 a. load vocab b. load image feature c.provide data for training 2.Build image caption model 3.Trains the model """ import os import sys import t...
TensorFlow下运行Google的Im2txt：show and tell inception v3
gbbb1234的博客
04-23 3万+
我的设备：ubuntu14.04+GPU TensorFlow1.0.1 相关论文《Show and Tell: Lessons learned from the 2015 MSCOCO Image Captioning Challenge》 https://arxiv.org/abs/1609.06647 去年9月刚开源的 github：https://github.com
图像描述show and tell代码im2txt阅读（TensorFlow官方实现）杂七杂八记录（草稿二：模型构建及训练部分）
Curya的博客
04-28 1189
模型构建及训练部分代码 0 概述 核心代码文件： show_and_tell_model.py为整体模型的构建，包括读取TFRecord构建输入，导入GoogLe Net构建Encoder部分，及LSTM构建Decoder部分等。 ops/*.py定义了模型构建时相关函数的详细定义。 train.py为模型的训练具体操作。 1 模型构建 模型构建参考show_and_tell_model.py...
TensorFlow官方show and tell代码添加coco-caption描述评估
Curya的博客
04-24 1990
目录TensorFlow官方show and tell代码添加coco-caption描述评估1 背景2 im2txt代码修改2.1 获取测试集图像路径2.2 获取并存储测试集所有图像的描述2.3 利用coco-caption计算图像描述评价指标 TensorFlow官方show and tell代码添加coco-caption描述评估 1 背景 TensorFlow 有show and tell...
keras实现：图像描述---Show and Tell: A Neural Image Caption Generator
11-08
完整工程：图像描述---Show and Tell: A Neural Image Caption Generator，使用keras实现图像描述，运行环境（keras==2.0.3，tensorflow==1.1.0，pandas==0.19.1，numpy==1.12.1，h5py==2.7.0，matplotlib==2.1.0，...
图像描述--Show and Tell: A Neural Image Caption Generator
02-24
完整工程案例：图像描述---Show and Tell: A Neural Image Caption Generator，基于Inception V3与LSTM实现图像描述，运行环境（Tensorflow1.0及以上，Python3.6）
show-attend-and-tell：“显示，出席和讲述”的TensorFlow实现
02-06
显示，出席和讲述 更新（2016年12月2日）的TensorFlow实现其中引入了基于注意力的图像字幕生成器。 在生成每个单词时，模型将注意力转移到图像的相关部分。 参考文献 作者的theano代码： ： 另一个tensorflow实现： : 入门 先决条件 首先，将此和克隆到同一目录中。 $ git clone https://github.com/yunjey/show-attend-and-tell-tensorflow.git $ git clone https://github.com/tylin/coco-caption.git 这段代码是用Python2.7编写的，
show_and_tell 代码实现及测试（转载）
法相的博客
10-23 1522
mark一下，感谢作者分享！ https://blog.csdn.net/m0_38073193/article/details/82502063?utm_source=blogxgwz14
show_and_tell
04-01
show_and_tell
ShowAndTell_pytorch:pytorch的韩语翻译和已实现的代码
03-21
ShowAndTell_pytorch:pytorch的韩语翻译和已实现的代码
show-attend-and-tell-tensorflow源码解读：preprocess.py
show-attend-and-tell-tensorflow源码解读：preprocess.py
07-15 498
show-attend-and-tell是image caption领域的经典论文，image caption即“看图说话”，该任务需要预处理，本篇博客即是研究该任务的详细预处理流程。但在研究之前，我们先学习一下mscoco image caption数据集的格式及内容（以mscoco image caption 2014数据集为例）。 “看图说话” 也是一个监督学习任务，输入是image，输出标签是natural language caption(自然语言标题，它是一个句子)。可想而知，它的数据集结构是比
show_and_tell 代码实现及测试-——批量训练
亲历者的博客
09-07 5342
introduction Image Caption是一个融合计算机视觉、自然语言处理和机器学习的综合问题。 能够用正确的英语句子自动描述图像的内容是一项非常具有挑战性的任务，但它可以帮助视障人士更好地理解网络上的图像内容。例如，这项任务比研究良好的图像分类或对象识别任务要困难得多，这是Computer vision community的主要关注点。实际上，描述不仅必须捕获图像中包含的对象，而...
Show and Tell: A Neural Image Caption Generator
xinxiang7
07-23 450
[Show and Tell: A Neural Image Caption Generator][https://arxiv.org/pdf/1411.4555v1.pdf] 概要 本文介绍了NIC算法，将CNN与LSTM结合，做了一件什么事呢。就是小学时的看图说话，利用CNN提取图片特征，并作为t−1t_{-1}t−1​输入LSTM中，将描述性词汇转化为独热编码，利用嵌入模型做为StS_tSt...
show and tell 代码调试过程遇到的问题及解决
源式羽语
04-18 2001
1.tensorfllow1.0接口改变造成的报错，对应将接口改过来 2.调试模型时可视化出问题： 由于模型设置参数和模型解释器不一而造成可视化出问题，通过修改模型保持一致完成
调试Show_and_Tell-master记录
永未央的博客
01-05 138
调试Show_and_Tell-master记录 1、找不到module tqdm 解决：pip install tqdm 2、找不到module cv2 解决：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple opencv-python 3、pip下载慢，更换pip下载源 解决1：pip install -i https://p...
【图像理解】之Show, attend and tell算法详解
热门推荐
shenxiaolu1984的专栏
08-13 4万+
详解图像理解中的聚焦机制代表作Show, attend and tell算法。
AP和mAP 计算：sklearn.metrics.average_precision_score()
muli
09-28 1万+
函数： sklearn.metrics.average_precision_score(y_true, y_score, average=‘macro’, sample_weight=None) 根据预测得分计算平均精度（AP），此分数对应于精确召回曲线下的区域 y_true : array, shape = [n_samples] or [n_samples, n_classes] 真实标签：取...
Show, and Tell 代码实现
最新发布
05-16
Show, Attend and Tell (SAT) 是一种基于深度学习的图像描述生成模型，它使用卷积神经网络来提取图像的特征，并使用循环神经网络来生成描述语句。 以下是SAT的代码实现，使用PyTorch框架： ```python import torch import torch.nn as nn import torchvision.models as models import torchvision.transforms as transforms from torch.autograd import Variable # 定义预处理，将图像转换为模型需要的格式 transform = transforms.Compose([ transforms.Resize(224), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ]) # 定义模型 class EncoderCNN(nn.Module): def __init__(self, embed_size): super(EncoderCNN, self).__init__() # 加载预训练的ResNet-152模型 resnet = models.resnet152(pretrained=True) # 去掉最后一层全连接层 modules = list(resnet.children())[:-1] self.resnet = nn.Sequential(*modules) # 添加全连接层，将ResNet的输出转换为指定大小的向量 self.fc = nn.Linear(resnet.fc.in_features, embed_size) self.init_weights() def init_weights(self): # 初始化全连接层的权重 self.fc.weight.data.normal_(0.0, 0.02) self.fc.bias.data.fill_(0) def forward(self, images): # 提取图像的特征 features = self.resnet(images) features = Variable(features.data) features = features.view(features.size(0), -1) # 将特征向量转换为指定大小的向量 features = self.fc(features) return features class DecoderRNN(nn.Module): def __init__(self, embed_size, hidden_size, vocab_size, num_layers): super(DecoderRNN, self).__init__() self.embed = nn.Embedding(vocab_size, embed_size) self.lstm = nn.LSTM(embed_size, hidden_size, num_layers, batch_first=True) self.linear = nn.Linear(hidden_size, vocab_size) self.init_weights() def init_weights(self): # 初始化Embedding层和全连接层的权重 self.embed.weight.data.uniform_(-0.1, 0.1) self.linear.weight.data.normal_(0.0, 0.02) self.linear.bias.data.fill_(0) def forward(self, features, captions, lengths): # 将输入的句子转换为词向量 embeddings = self.embed(captions) # 将图像的特征向量和词向量拼接在一起作为输入 inputs = torch.cat((features.unsqueeze(1), embeddings), 1) # 对输入进行打包，加速训练过程 packed = nn.utils.rnn.pack_padded_sequence(inputs, lengths, batch_first=True) # 通过LSTM进行编码 hiddens, _ = self.lstm(packed) # 对LSTM的输出进行解码 outputs = self.linear(hiddens[0]) return outputs def sample(self, features, states=None): # 生成图像的描述 sampled_ids = [] inputs = features.unsqueeze(1) for i in range(20): # 最长的描述句子长度为20 hiddens, states = self.lstm(inputs, states) outputs = self.linear(hiddens.squeeze(1)) _, predicted = outputs.max(1) sampled_ids.append(predicted) inputs = self.embed(predicted) inputs = inputs.unsqueeze(1) # 将生成的描述转换为单词 sampled_ids = torch.cat(sampled_ids, 0) return sampled_ids.squeeze() ``` 这个代码实现分为两个部分，一个是EncoderCNN，一个是DecoderRNN。EncoderCNN使用预训练的ResNet-152模型提取图像的特征，然后将特征向量转换为指定大小的向量。DecoderRNN使用LSTM将图像的特征向量和描述语句的词向量拼接在一起进行编码，然后再进行解码生成描述语句。同时，DecoderRNN还实现了一个sample方法，可以在生成描述语句时进行使用。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值