《Learning Cross-modal Embeddings for Cooking Recipes and Food Images》阅读笔记

最新推荐文章于 2024-05-25 10:04:45 发布
最新推荐文章于 2024-05-25 10:04:45 发布
阅读量1k 收藏 2
点赞数
分类专栏： 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33373858/article/details/81509499
版权
本文介绍了CVPR 2017年的一篇论文，研究了如何利用Recipe1M数据集训练一个神经网络，将食谱文本和食品图像映射到共享的子空间，用于图像配方检索。通过Bi-LSTM处理成分，LSTM处理烹饪指示，VGG-16或ResNet-50处理图像，并采用语义正则化提高检索性能。
摘要由CSDN通过智能技术生成

来源：CVPR 2017

一、Introduction

文章要做的事情(recipe retreival)：

输入：image（sentence）+dataset 　　　　　输出：sentence（image） rank list

在本文中介绍了Recipe1M数据集，并训练一个食谱和图像联合嵌入的神经网络，应用于图像配方检索任务上。另外，证明通过添加高级分类目标的正则化既提高了检索性能。

二、Recipe1M dataset

本文提出Recipe1M数据集，其中包含一百万个带有相关图像的结构化烹饪配方。

数据集下载地址：

im2recipe​im2recipe.csail.mit.edu

 

三、Model

 

将文本和图像映射到共享的子空间&

最低0.47元/天 解锁文章
黄鑫huangxin
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
厨艺速成「秘籍」—— 跨模态菜谱检索 | 复旦大学陈静静
BAAIBeijing的博客
04-30 432
导语：看到一道菜的成色，就能得知食材原料和烹饪方法？在近期的AI TIME 青年科学家——AI 2000 学者专场论坛系列报告中，来自复旦大学计算机科学学院的助理教授陈静静博士带来了题为「跨模态菜谱检索」的演讲，从「基于识别的菜谱检索」、「基于跨模态学习的菜谱检索」、「跨域食物迁移」等方面介绍了跨模态菜谱检索任务几年来的前沿研究工作，讨论了该领域未来的研究方向。（回放：h...
【论文笔记】Inverse Cooking： Recipe Generation from Food Images（CVPR2019）
possible_11的博客
08-20 1263
Paper：https://arxiv.org/abs/1812.06164 Code：https://github.com/facebookresearch/inversecooking 1.论文整理框架： 算法框架如下图所示： 2. 部分模块： 1）Ingredient Decoder 无序食材的预测较...
Learning Cross-modal Embeddings for Cooking Recipes and Food Images
Hello World
05-03 679
这是CVPR2017的一篇做cross-modal retrieval的文章，paper和相关数据代码链接http://im2recipe.csail.mit.edu/，作者的homepage https://imatge.upc.edu/web/people/amaia-salvador。 文章要做的事情(recipe retreival)： 输入：image（sentence）+datas...
BLIP论文中疑难点汇总
qq_40905284的博客
05-18 809
BLIP问题汇总和解答
recipe1m.bootstrap.pytorch:使用深度学习和Pytorch从美食家图片中检索食谱
05-09
recipe1m.bootstrap.pytorch 我们是Sorbonne大学的。 我们对该项目的目标是创建一个在最大的烹饪食谱数据集上受过训练的跨模式检索系统。 这种系统能够在给定图像（食物自拍）的情况下检索相应的食谱，以及从食谱中检索相应的图像。 这也是在新环境中比较几种最新的度量学习损失功能的机会。 最初的分析为我们提供了一些有关如何改善模型泛化的想法。 接下来，我们针对自适应挖掘后的新模型Adamine写了两篇研究论文，这些模型在检索空间中增加了结构： 概括： 普华永道 PWC ++（我们的） VSE VSE ++ AdaMine_avg（我们的） AdaMine（我们的） 升降结构 文献资料 有用的命令 比较实验 使用特定的GPU 覆盖一个选项 继续训练 评估10k设置 原料药 提取自己的图像特征 引文 致谢 介绍 配方到图像的检索任务 给定配料列表和
win10+cu10.1+Anac运行《Learning Combinatorial Embedding Networks for Deep Graph Matching》源代码
meteor_0033的博客
03-21 1049
目录 一.论文及源代码下载地址 二.调试问题处理 运行《Learning Combinatorial Embedding Networks for Deep Graph Matching》源代码遇到一些问题，记录下来： 一.论文及源代码下载地址 论文下载： （https://arxiv.org/abs/1904.00597）相关代码： （https://github.com/rogerw...
（九：2020.08.27）CVPR 2019 追踪之论文纲要（译）
Jojo论文基地
08-28 8724
CVPR 2019 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这900篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录 论文 概要
Python-Pic2Recipe根据食品图片猜做法
08-11
Code supporting the CVPR 2017 paper "Learning Cross-modal Embeddings for Cooking Recipes and Food Images
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
菜谱数据库-json格式
12-24
一个用于练习关键词搜索、分词的测试数据库，采用json格式存储，33M左右，可直接采用python等读取处理。
Tensorflow 实现将图像与标签数据转化为tfRecord文件
09-17
今天小编就为大家分享一篇Tensorflow 实现将图像与标签数据转化为tfRecord文件，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
【今日CV 计算机视觉论文速览 第112期】Mon, 6 May 2019
TomRen
05-09 1392
第112期 视觉论文速览 HDR&SR联合算法 协同分割 无缝场景分割 残差强化学习
【食谱数据集下载recipeitems-latest.json】
Polaris_Yang的博客
01-12 2139
食谱数据集下载数据集功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 下载数据集 进入网页后点击右键保存，数据大小为29M：https://blog.csdn.net/weixin_30625691/article/details/
Milvus 实战 | 基于 Milvus 的食谱检索系统
ZILLIZ
11-24 1555
概述现在，社交媒体、电商网站以及短视频应用源源不断地产生大量多模态数据。这些数据包含了自然语言、视觉信号、声音信号等多种类型。由于单一模式的数据分析已经不能满足日益复杂的查询需求，如...
探索美食的秘密：im2recipe 开源项目
最新发布
gitblog_00023的博客
05-25 360
探索美食的秘密：im2recipe 开源项目 im2recipe-Pytorchim2recipe Pytorch implementation项目地址:https://gitcode.com/gh_mirrors/im/im2recipe-Pytorch 1、项目介绍 im2recipe 是一个开源项目，致力于学习烹饪食谱和食物图片的跨模态嵌入。这个项目基于发表在 IEEE Transacti...
68款大规模机器学习数据集，涵盖CV、语音、NLP | 十年资源集
AI科技大本营
03-21 5851
参加 2019 Python开发者日，请扫码咨询 ↑↑↑作者 | 琥珀出品 | AI科技大本营（ID:rgznai100）此前营长为大家分享过不少机器学习相关数据集的资源...
常用的公共数据集（二）
热门推荐
yh的博客
03-22 2万+
十一、一般视频 AlignMNIST- MNIST手写数据集的人工扩展版本。（en Hauberg） 视听事件（AVE）数据集- AVE数据集包含4143个YouTube视频，涵盖28个事件类别和AVE数据集中的视频，在时间上标有视听事件边界。（田亚鹏，景石，李伯辰，段志尧，徐晨亮） 多模态语义自我中心视频（DoMSEV）的数据集 - 标记80小时的多模式语义自我中心视频（DoMSEV）...
Cross-Modal Collaborative Representation Learning and a Large-Scale RGBT Benchmark for Crowd Counting
05-11
这篇论文提出了一种跨模态协作表示学习方法和一个大规模 RGBT 数据集，用于人群计数。该方法主要是通过将可见光图像和热红外图像作为输入，同时训练一个共享的卷积神经网络，来学习两种不同模态之间的关联性，从而...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值