tensorflow(神经网络)学习笔记(五)图像生成文本之模型介绍（笔记）

最新推荐文章于 2024-01-08 01:23:44 发布
最新推荐文章于 2024-01-08 01:23:44 发布
阅读量619 收藏
点赞数
分类专栏： 机器学习 笔记 文章标签： tensorflow 学习笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40965177/article/details/103056251
版权

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
解决文本多次出现的方法
在这里插入图片描述
解决短句子的问题
在这里插入图片描述
在这里插入图片描述
取概率最高的词组成句子：显然句子的平滑度不是很好
在这里插入图片描述
下面才是最优的的结果
在这里插入图片描述
n为任意。
在这里插入图片描述
ex:如下，n取4
在这里插入图片描述

相关模型

Multi-Modal RNN
Table Projection 为文字的编码形式
在这里插入图片描述
右下角的Fully Connected为提取图片的特征值
在这里插入图片描述
在这里插入图片描述
Show and Tell
在这里插入图片描述
Show Attend and Tell
加入attention机制，让图像的不同位置生成不同的文字
在这里插入图片描述
在这里插入图片描述
缺点：lstm的学习量过载，要学习如何学习生成文本，又要去学习Attention机制
在这里插入图片描述
Top-Down Bottom-Up Attention
在这里插入图片描述
细化结构
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

cmzz
关注
专栏目录
利用图像数据生成高质量的文字描述的机器学习模型综述
程序员光剑
10-12 475
作者：禅与计算机程序设计艺术 1.背景介绍 在当前的IT行业中，图像数据的获取途径非常广泛，包括摄像头拍照、智能手机相机拍照、扫描文档等多种方式。这些图像数据往往是包含丰富信息的高保真数据，但同时也带来了巨大的挑战，如何从这些数据中提取有效信息、自动生成文字描述成为一个新型的问题。本文将对现有的机器
机器学习笔记 - 使用CNN和LSTM为图像生成文字描述
学以致用 知行合一
04-04 4273
我们将使用CNN（卷积神经网络） 和 LSTM（长期短期记忆）来实现字幕生成器。图像特征将从 Xception 中提取，Xception 是在 imagenet 数据集上训练的 CNN 模型，然后我们将特征输入 LSTM 模型，该模型将负责生成图像说明。 这里使用 Flickr_8K 数据集。虽然还有其他大型数据集，如 Flickr_30K 和 MSCOCO 数据集，但仅训练网络可能需要几周时间，所以我们将使用小型 Flickr8k 数据集。但是庞大数据集的优势在于我们可以构建更好的模型。
图像生成文本(三) —— Multi-Modal RNN模型(多模态)
hxxjxw的博客
08-22 1850
由百度研发团队最先提出来的 多模态数据，不同传感器对同一事物的描述数据，比如说，相机、X光、红外线对同一个场景同一个目标照出的图片 将一个词embedding成一个128维的向量，再经过一个全连接层变成一个256维的向量 然后embedding2，再经过一个全连接，到了Multimodal层 同时，embedding2也输入到Recurrent这个RNN中去，得到的输出也输入到Multimodal层 同时，还有一个图像经过CNN提取出来的特征通过全连接层，输入输入到Multi...
图像生成文本(四) —— Show and Tell模型
hxxjxw的博客
08-23 829
由李飞飞团队开发的 依然是基于encoder-decoder模型进行改编
图像生成文本show and tell模型2—图像特征抽取2—文本描述文件解析
yuanjiu4221的博客
09-07 624
用已经训练好的模型对每张图片去处理特征： 本文使用的是 inception_V3的checkpoint去对flicker30k的每张图片进行处理它的特征： 需要用到的文件： 这个文件的作用： checkpoint里存的是各个变量的数值，我们需要重新去构建计算图后可以把checkpoint里的变量值载入进来，就是这个图中对应的变量去checkpoint读取变量值，在tensorflow中还支持对c...
图像生成文本show and tell模型3—图像特征抽取3—InceptionV3预训练模型抽取图像特征
yuanjiu4221的博客
09-07 405
在有了图片的名字之后就可以依据图片的名字在文件夹下读取对应的文件，然后使用模型将图片的特征提取出来： 1.载入模型： 载入模型文件 2.模型读取： 定义模型读取函数： 3.使用tensorflow打开一个session对我们的图片进行处理： 计算有多少个子文件： 进行处理： 运行结果： 以上~图像预处理部分完成 ~ ...
TensorFlow神经网络学习笔记
qq_35578807的博客
09-27 2602
张量（tensor） 就是多维数组 阶代表张量的维数 维数 阶 名字 0-D 0 标量scalar 1-D 1 向量vector 2-D 2 矩阵 matrix n-D n 张量 tensor 张量可以表示0阶到n阶的数组（列表） 数据
【学习笔记】TensorFlow2.0搭建神经网络学习笔记
a1939224213的博客
07-16 413
学习笔记
【Tensorflow2.x学习笔记】- 神经网络
qq_42433311的博客
12-20 1748
1.感知机 2.全连接层 3.神经网络 4.激活函数 5.输出层设计 6.误差计算 7.神经网络类型
深度学习tensorflow学习笔记.zip
最新发布
05-08
6. **实战项目**：可能包含一些使用TensorFlow解决的实际问题，如图像分类、文本生成或推荐系统等。 7. **进阶主题**：可能涉及更高级的主题，如动态图、模型的并行化和分布式训练，以及如何利用TensorFlow进行模型...
图像生成文本(二) —— Encoder-Decoder模型框架 & Beam Search算法生成文本
hxxjxw的博客
08-22 1489
模型框架 以encoder-decoder模型为基础 encoder由LSTM换成了CNN 因为输入由文本换成了图片 encoder输入是图片，decoder输出是文本的概率分布 根据概率去选择词，组成一个合适的文本 但是每次取概率最高的(贪心)并不是可取的做法 例如这样情况下这样取才是最优的 所以这里我们就需要用beam search集束搜索，每一步取top-n的结果 例如 得到4条比较合适的路径之后，我们将它输入到语言模型中去，进行进一步的评测，看四条路经生...
[机器学习] 图像字幕模型：输入图像，输出文本
好风凭借力
09-01 1006
模型分为编码器和解码器两个部分，依据给定的公式图像输出对于的latex码。
8月28日计算机视觉理论学习笔记——图像生成
Ashen_0nee的博客
08-28 1104
本文为8月28日计算机视觉理论学习笔记——图像生成，分为三个章节： - 判别式模型与生成式模型； - VAE 自编码机； - GAN。
深度学习CNN&RNN实战---------图像生成文本
qq_36309884的博客
03-30 1085
问题引入 评测标准： （1）BLEU：缺点----重复值时匹配度高但无意义，倾向于短句，应该引入短句惩罚 。。。。。 模型：Encoder-Decoder 问题建模 --------》Beam Search生成文本： 每一步取top-n结果 下一步依靠上一步的top-n结果从n^2的结果中选择top-n 生成top-n的路径 用单独的语言模型来评测top-n的路径 ---------->...
从图像到文本：图像描述生成与视觉语言模型
程序员光剑
12-26 1651
1.背景介绍 图像描述生成(Image Captioning)是一种自然语言处理(NLP)任务，其目标是从给定的图像中自动生成一个描述性的文本。这个任务在过去几年里得到了广泛的研究和应用，尤其是随着深度学习和卷积神经网络(CNN)的兴起。图像描述生成可以应用于许多领域，例如搜索引擎优化、机器人导航、视觉辅助工具和自动化新闻报道等。 在这篇文章中，我们将讨论图像描述生成的核心概念、算法原理、实现...
关于我终于开始学习图像生成文字这件事----模型评价
qq_45795305的博客
12-09 4100
第一天 有点疲惫 觉得有点难
自然语言处理的图像描述生成：将图像转化为文本
程序员光剑
01-08 2092
1.背景介绍 图像描述生成，也被称为图像文本转换，是一种将图像转化为文本的技术。这种技术在计算机视觉、人工智能和自然语言处理领域具有广泛的应用。例如，图像描述生成可以用于自动生成图像的标签、描述或摘要，从而帮助视力障碍的人或机器理解图像的内容。此外，图像描述生成还可以用于生成新的艺术作品、广告文案、新闻报道等。 图像描述生成的主要任务是将图像中的信息转化为文本，以便于人类或机器理解。这个过程涉...
论文阅读_图像生成文本_CLIP
谢彦的技术博客
02-12 1023
使用大量数据的对比学习，基于对齐图片和文本嵌入的原理，实现了根据图像生成描述文本的功能，为后续根据文本生成图像奠定了基础。
ICCV 2023 | 基于预训练视觉语言模型和大语言模型的零样本图像到文本生成
Paper weekly
09-07 622
©作者 | Elysia单位 |南科大VIP Lab和大家分享一下我们组 ICCV 2023 中稿的零样本图像-文本（I2T）生成工作 ViECap。该任务目前的一个主流做法是结合预训练的视觉语言模型（VLMs）和大语言模型（LLMs）来完成 I2T 的生成，然而我们发现在微调 VLMs 和 LLMs 以结合这两个预训练模型时，目前的方法至少存在两个问题：1. 模态偏置，即在文本生成的过程中，来...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值