Image Caption 2021最新整理：数据集 文献 代码

最新推荐文章于 2024-07-12 19:06:42 发布
最新推荐文章于 2024-07-12 19:06:42 发布
阅读量363 收藏 9
点赞数 5
分类专栏： 程序员 文章标签： python 学习 面试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84615085/article/details/138908417
版权

（1）Python所有方向的学习路线（新版）

这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

最近我才对这些路线做了一下新的更新，知识体系更全面了。

在这里插入图片描述

（2）Python学习视频

包含了Python入门、爬虫、数据分析和web开发的学习视频，总共100多个，虽然没有那么全面，但是对于入门来说是没问题的，学完这些之后，你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。

在这里插入图片描述

（3）100多个练手项目

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了，只是里面的项目比较多，水平也是参差不齐，大家可以挑自己能做的项目去练练。

在这里插入图片描述

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

+ 不要描述在未来或过去可能发生的事情。
+ 不描述一个人可能会说什么。
+ 不提供专有的人名。
+ 这些句子应该至少包含8个单词。  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/6c6fa88cc94041a2991b21ac4653045b.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA6Jm-57Gz5bCP6aaE6aWo,size_16,color_FFFFFF,t_70,g_se,x_16)

SBU Captions

NIPS 2011 | Im2Text: Describing Images Using 1 Million Captioned Photographs
[website]
[paper]

SBU Captions数据集最初将图像字幕作为一个检索任务，包含 100 万个图片网址 + 标题对。
在这里插入图片描述

Conceptual Captions (CC) dataset

ACL 2018 | Google Research
[website]
[paper]
[github]

Conceptual Captions (CC) dataset是一个包含（图像URL、字幕）对的数据集，用于机器学习图像字幕系统的训练和评估。数据集有约330万张图像(CC3M)和1200万张图像(CC12M)两个版本，并通过一个简单的过滤程序从网络自动收集弱相关描述。

与 MS-COCO 图像相比，Conceptual Captions数据集的图像及其原始描述来自网络，因此代表了更广泛的风格。

但是Conceptual Captions 的图像并不总是可用的，因为数据集提供的是图片URL。

SplitExamplesUniqe Tokens
Train3,318,33351,201
Valid15,84010,900
Test (Hidden)12,5599,645

在这里插入图片描述

TextCaps

ECCV 2020 | Facebook AI Research
[website]
[paper]

这个数据集的特点在于使用包含文字内容的图片。

TextCaps 要求模型阅读和推理图像中的文本以生成有关它们的说明。具体来说，模型需要根据图像中存在的文本形式对其进行推理，并结合图像中的视觉内容以生成图像描述。

  • 28,408 张图片，来自 Open Images 数据集
  • 142,040 条captions
  • 平均每张图片 5 个captions

在这里插入图片描述

VizWiz-Captions

ECCV 2020 | Captioning Images Taken by People Who Are Blind.
[paper]
[website]

这个数据集中的图像是由视力受损的人使用手机拍摄的，图像质量不高，涉及各种各样的日常活动，其中大多数需要阅读一些文本。数据集旨在让更多人了解盲人的需求，并开发辅助技术，解决盲人日常生活中的视觉挑战，回答盲人的视觉问题。

数据集引入了视力受损的人采集的39,181张真实图像用例，每张图像都配有5个captions。

VizWiz-Captions 数据集包括：

  • 训练集：23,431 张图像，117,155 个captions
  • 验证集：7,750 张图像，38,750 个captions
  • 测试集：8,000 张图像，40,000 个captions

在这里插入图片描述

Localized Narratives

ECCV 2020 | Connecting Vision and Language with Localized Narratives
[website]
[paper]
[code]

Localized Narratives提供了一种连接视觉和语言的多模态图像注释的新形式。这个数据集是通过记录人们自由地叙述他们在图片中看到的内容而收集起来的。

注释者被要求用他们的声音描述图像，同时将鼠标悬停在他们描述的区域上。由于语音和鼠标指针是同步的，我们可以定位描述中的每个单词。这种密集的视觉基础采用每个单词的鼠标轨迹段的形式。

Localized Narratives为每个单词都提供了基于其跟踪片段所表示的图像中的一个特定区域，包括名词、动词、形容词、介词等。
在这里插入图片描述
Localized Narratives 注释了 849,000张图像：包括整个 COCO、Flickr30k 和 ADE20K 数据集，以及 671,000 的Open Images图像。

Localized Narratives支持的任务不局限于image caption，还可以支撑其他多模态任务：

在这里插入图片描述

Nocaps

ICCV 2019 | nocaps: novel object captioning at scale
[website]
[paper]
[github]

nocaps旨在评估在没有对应的训练数据的情况下，模型能否准确描述测试图像中新出现类别的物体。

为了让模型能够学习更多种类的视觉概念，最好是从较少的监督中学习。所以，nocaps利用一些替代数据源（如目标检测），使模型能够描述在训练集的标题语料中不存在的对象。这些具有目标检测标注、但没有标题语料的对象，就被称为新对象（novel object），描述那些包含新对象的图像就被称为novel object captioning。

对于人类来说，在学习了一个新物体的类别后，我们可以立即描述它的属性和关系，但是当前的算法模型无法描述未在语料库中出现过的目标。nocaps的主要目标是将“如何识别物体”与“如何谈论物体”分离出来。利用COCO的图像标题数据来学习生成语法上正确的标题，同时利用大量的开放图像检测数据集来学习更多的视觉概念。

  • 训练集由 COCO 图像-标题对（118,000张图像，80个目标类别）、Open Images V4 目标检测训练集（1,700,000张带有bbox的图像，600个目标类别）组成。
  • 验证集包含4,500张图像，平均每张图片10个captions，源自 Open Images V4验证集
  • 测试集包含10,600张图像，平均每张图片10个captions ，源自 Open Images V4测试集
  • 由于 Open Images 包含的类比 COCO 多得多，因此在测试图像中看到的近 400 个目标类没有对应的训练caption（所以这个数据集取名为nocaps）。
  • 为了提供更细粒度的分析，nocaps的评估分为域内、近域和域外三个子集，域描述了对象与COCO中类别的相似性。
    在这里插入图片描述

小结

当前caption任务的数据集正在向多种领域进行扩展，更多的开放式图像、目标类别，较少的监督信息，对image caption任务提出了更高要求。

在具体实际应用中，既需要特定领域的语料库，也需要模型具备更好的可解释性。

  1. From Show to Tell: A Survey on Image Captioning ↩︎ ↩︎
  2. https://arxiv.org/abs/1912.03098v2 ↩︎

最后

🍅 硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。
🍅 技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。
🍅 面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。
🍅 知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

2401_84615085
关注
  • 5
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
生成式-看图说话/图片问答/以图生文-202311-CogVLM：深度融合引领视觉语言模型革新，多领域性能创新高
u013250861的博客
03-08 144
视觉专家模块是CogVLM模型中的一个关键组件，它的作用是实现深度的视觉语言特征融合。在每一层中，视觉专家模块由两部分组成：一个QKV矩阵和一个MLP。这里的QKV代表“查询-键-数值”，是用于注意力计算的重要矩阵。首先，输入的隐藏状态被分成图像隐藏状态（XI）和文本隐藏状态（XT）。接着，利用QKV矩阵，对图像和文本的隐藏状态进行相应的注意力计算。这一步可以理解为模型决定在处理时应该关注图像和文本中的哪些部分。
【计算机视觉 | 目标检测】目标检测常用数据集及其介绍（二）
wzk4869的博客
08-23 193
【计算机视觉 | 目标检测】目标检测常用数据集及其介绍（二）
nocaps: novel object captioning at scale ---- 文章解读和baseline复现
weixin_44384749的博客
10-09 2423
摘要 关键问题：应用于实际场景的话，必须利用较少监督学习大量视觉概念 为了图像描述模型能学习来自不同数据源的视觉概念，提出第一个针对此任务的数据集 ---- “nocaps”：从开放的图像校验和测试集由166100人类生成的字幕描述15100张图片。训练数据由COCO图像-描述对+Open Images 图像级标签和物体框组成。测试集中400种物体类别在训练集描述中没有或者几乎很少注释的（nocaps）。针对此任务建立强基线并提供指导未来工作的分析 1 Introduction 现有模型存在的问题：对于实际
Image Caption 2021最新整理：数据集 / 文献 / 代码
人工智能算法与工程实践
09-22 2万+
Microsoft COCO Captions、SBU Captions、Conceptual Captions (CC) dataset、TextCaps、VizWiz-Captions、Localized Narratives、Nocaps等
Image Caption 2021最新整理：数据集 文献 代码(2)
2401_84615085的博客
05-15 248
不知道你们用的什么环境，我一般都是用的Python3.6环境和pycharm解释器，没有软件，或者没有资料，没人解答问题，都可以免费领取（包括今天的代码），过几天我还会做个视频教程出来，有需要也可以领取~给大家准备的学习资料包括但不限于：Python 环境、pycharm编辑器/永久激活/翻译插件python 零基础视频教程Python 界面开发实战教程Python 爬虫实战教程Python 数据分析实战教程python 游戏开发实战教程Python 电子书100本。
【CVPR2020】Meshed-Memory Transformer for Image Captioning
枉费红笺的博客
09-25 2013
【CVPR2020】Meshed-Memory Transformer for Image Captioning 引言
Conceptual Caption Dataset概念标题数据集-数据集
03-12
概念标题数据集由谷歌研究工作室提供。 conceptualcaption_Validation_GCC-1.1.0-Validation_datasets.tsv conceptualcaption_Train_GCC-training_datasets.tsv conceptualcaption_Image_Labels_Subset_Train_...
Image caption 数据集链接-附件资源
03-05
Image caption 数据集链接-附件资源
MATLAB数据字典生成代码-Automatic-Image-Caption-Generation:自动图像字幕生成
05-23
MATLAB数据字典生成代码自动图像字幕生成 具有分层上下文视觉空间注意的图像标题生成 此Python实现包含以下提到的不同ICG模型： Mahmoud Khademi，Oliver Oschulte提出的具有分层上下文视觉空间关注度的图像标题生成...
MAX-Image-Caption-Generator:IBM代码模型资产交换
05-05
该存储库包含用于实例化和部署图像标题生成模型的代码。 该模型从固定词汇表生成标题，以描述集中图像的内容。 该模型包括一个编码器模型-一个使用训练的Inception-v3架构的深层卷积网络-和一个解码器模型-一个根据...
nuScenes数据集下载（网盘链接+解压步骤）
weixin_62497890的博客
06-19 4593
nuScenes数据集下载、解压步骤（附网盘链接+环境搭建教程）
常见数据集下载（免费）
boy_zerui的博客
10-12 8814
常用的数据集免费下载网址，帮助猿友们更好的走进学习深渊，哈哈哈
目标检测算法——图像分类开源数据集汇总（附下载链接）
加勒比海带66——【YOLO魔法搭配&论文投稿咨询】
11-05 3907
目标检测算法——图像分类开源数据集汇总（附下载链接）。近期，小海带在空闲之余，收集整理了一批图像分类数据集供大家参考。整理不易，小伙伴们记得一键三连喔！！！
人工智能/数据科学比赛汇总 2019.7
热门推荐
龙哥盟
07-13 5万+
内容来自 DataSciComp，人工智能/数据科学比赛整理平台。 Github：iphysresearch/DataSciComp 本项目由 ApacheCN 强力支持。 微博 | 知乎 | CSDN | 简书 | OSChina | 博客园 Data Science for Good: CareerVillage.org https://www.kaggle.com...
自然语言处理--训练面向特定领域的 Word2vec 模型
糯米君的博客
01-21 471
在某些情况下，需要创建面向特定领域的词向量模型。 由于谷歌训练 googlenews-vectors-negative300.bin.gz模型时使用的是 2006 年之前的谷歌新闻，所以如果 NLP 流水线处理的文本中词的用法在当时的谷歌新闻中找不到，那么可以通过定制化词向量来提高模型的精确率。另外，如果有些词在谷歌新闻中很罕见，或者这些词在特定领域有一些特定用法，如医学文本或成绩单等，那么面向特定领域的词向量模型也可以提高模型精确率。现在展示如何训练定制化的Word2vec 模型。 from gensim
机器学习常见数据集下载（免费）
qq_55342245的博客
09-30 1万+
机器学习常见数据集下载数据集下载从sklearn库中获取数据集 机器学习用到数据集都在UCI上面，做个笔记方便自己找。 UCI官网（老版本）：https://archive.ics.uci.edu/ml/index.php UCI官网（新版本）：https://archive-beta.ics.uci.edu/ 数据集下载 下面这些数据的下载地址都是老官网。 鸢尾花数据集：https://archive.ics.uci.edu/ml/datasets/Iris 红酒数据集：https://archive.i
【持续集成_05课_Linux部署SonarQube及结合开发项目部署】
最新发布
weixin_42333261的博客
07-12 218
前置条件：sonarQube不能使用root账号进行启动，所以需要创建普通用户及。3）CMD上传qube文件-不能传到home路径下哦。2）添加用户、组名、密码。4）检查并解压上传的包。
Nginx七层（应用层）反向代理：UWSGI代理uwsgi_pass篇
jclee95的个人博客
07-10 1105
Nginx提供了多种应用层反向代理支持，包括proxy_pass、uwsgi_pass、fastcgi_pass和scgi_pass等。其中，proxy_pass指令可以接受一个URL参数，用于实现对HTTP/HTTPS协议的反向代理；uwsgi_pass用于代理到uWSGI应用服务器；fastcgi_pass用于代理到FastCGI服务器；而scgi_pass则用于代理到SCGI（Simple Common Gateway Interface）应用。这些指令使Nginx能够灵活地处理不同类型的后端服务和应
基于Flickr18k数据集的image caption
05-02
基于Flickr18k数据集的image caption是指使用Flickr18k数据集来训练神经网络模型，使其能够自动生成与图片相关的文字描述，即image caption。Flickr18k数据集包含了8000张图像，每张图像都有5个不同的人工标注的描述。这些描述涵盖了图像的不同方面，如场景、物体、人物等等。基于这些数据，可以训练出一个神经网络模型，使其能够自动地为给定的图片生成一段文字描述。 具体来说，训练一个基于Flickr18k数据集的image caption的神经网络模型，通常会采用类似于“编码器-解码器”（encoder-decoder）的结构。在这种结构下，图像会首先通过一个卷积神经网络（CNN）进行编码，将其转化为一种向量表示。接着，这个向量会作为输入传递给一个循环神经网络（RNN）解码器，RNN解码器会逐步地生成一段文字描述，直到生成的描述符合预设的长度或者遇到特定的终止符号。 基于Flickr18k数据集的image caption是一个非常有趣的研究方向，可以应用于自然语言处理、计算机视觉等领域，具有广泛的应用前景。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值