《Learning Cross-modal Embeddings for Cooking Recipes and Food Images》阅读笔记

最新推荐文章于 2024-11-30 10:17:17 发布
最新推荐文章于 2024-11-30 10:17:17 发布
阅读量1.2k 收藏 3
点赞数
分类专栏： 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33373858/article/details/81509499
版权
本文介绍了CVPR 2017年的一篇论文，研究了如何利用Recipe1M数据集训练一个神经网络，将食谱文本和食品图像映射到共享的子空间，用于图像配方检索。通过Bi-LSTM处理成分，LSTM处理烹饪指示，VGG-16或ResNet-50处理图像，并采用语义正则化提高检索性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

来源：CVPR 2017

一、Introduction

文章要做的事情(recipe retreival)：

输入：image（sentence）+dataset 　　　　　输出：sentence（image） rank list

在本文中介绍了Recipe1M数据集，并训练一个食谱和图像联合嵌入的神经网络，应用于图像配方检索任务上。另外，证明通过添加高级分类目标的正则化既提高了检索性能。

二、Recipe1M dataset

本文提出Recipe1M数据集，其中包含一百万个带有相关图像的结构化烹饪配方。

数据集下载地址：

im2recipe​im2recipe.csail.mit.edu

 

三、Model

 

将文本和图像映射到共享的子空间&

最低0.47元/天 解锁文章
厨艺速成「秘籍」—— 跨模态菜谱检索 | 复旦大学陈静静
BAAIBeijing的博客
04-30 542
导语：看到一道菜的成色，就能得知食材原料和烹饪方法？在近期的AI TIME 青年科学家——AI 2000 学者专场论坛系列报告中，来自复旦大学计算机科学学院的助理教授陈静静博士带来了题为「跨模态菜谱检索」的演讲，从「基于识别的菜谱检索」、「基于跨模态学习的菜谱检索」、「跨域食物迁移」等方面介绍了跨模态菜谱检索任务几年来的前沿研究工作，讨论了该领域未来的研究方向。（回放：h...
【CVPR2019】完整论文列表二
TomRen
06-11 8155
CVPR 2019 Paper list[1001-1294] CVPR2019 完整列表一 论文题目与链接 Semantic Component Decomposition for Face Attribute Manipulation R3 Adversarial Network for Cross Model Face Recognition Disentan...
Learning Cross-modal Embeddings for Cooking Recipes and Food Images
Hello World
05-03 714
这是CVPR2017的一篇做cross-modal retrieval的文章，paper和相关数据代码链接http://im2recipe.csail.mit.edu/，作者的homepage https://imatge.upc.edu/web/people/amaia-salvador。 文章要做的事情(recipe retreival)： 输入：image（sentence）+datas...
探索美食新世界：im2recipe - 烹饪食谱与美食图像的跨模态嵌入学习
gitblog_00043的博客
05-09 511
探索美食新世界：im2recipe - 烹饪食谱与美食图像的跨模态嵌入学习 im2recipeCode supporting the CVPR 2017 paper "Learning Cross-modal Embeddings for Cooking Recipes and Food Images"项目地址:https://gitcode.com/gh_mirrors/im/im2recip...
recipe1m.bootstrap.pytorch:使用深度学习和Pytorch从美食家图片中检索食谱
05-09
recipe1m.bootstrap.pytorch 我们是Sorbonne大学的。 我们对该项目的目标是创建一个在最大的烹饪食谱数据集上受过训练的跨模式检索系统。 这种系统能够在给定图像（食物自拍）的情况下检索相应的食谱，以及从食谱中检索相应的图像。 这也是在新环境中比较几种最新的度量学习损失功能的机会。 最初的分析为我们提供了一些有关如何改善模型泛化的想法。 接下来，我们针对自适应挖掘后的新模型Adamine写了两篇研究论文，这些模型在检索空间中增加了结构： 概括： 普华永道 PWC ++（我们的） VSE VSE ++ AdaMine_avg（我们的） AdaMine（我们的） 升降结构 文献资料 有用的命令 比较实验 使用特定的GPU 覆盖一个选项 继续训练 评估10k设置 原料药 提取自己的图像特征 引文 致谢 介绍 配方到图像的检索任务 给定配料列表和
【CVPR2022】论文列表与下载——PartTwo
TomRen
06-12 2634
CVPR2022完整论文列表
（九：2020.08.27）CVPR 2019 追踪之论文纲要（译）
Jojo论文基地
08-28 9170
CVPR 2019 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这900篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录 论文 概要
【Demo】基于数据分析的智能饮食推荐APP（含菜品识别）.rar
06-19
数据分析 人体健康信息 体重 身高 年龄 菜品信息 菜的名称 卡路里 蛋白质,脂肪等 推荐的食用量 某个人群对应的改善体质(减肥,塑性,增肌等)的方案 菜谱 运动方式 数据集和api 图像识别食物,获取卡路里: https://cloud.baidu.com/product/imagerecognition/fine_grained nutrition facts from food : https://www.kaggle.com/openfoodfacts/world-food-facts#en.openfoodfacts.org.products.tsv https://world.openfoodfacts.org/ 数据集官网 456赞,目前为止发现的最高的相关数据集 nutrition facts for McDonald’s : https://www.kaggle.com/mcdonalds/nutrition-facts Calories, fat, and sugar for every cheeseburger, fries, and milkshake on menu 更牛逼的食材分析和菜谱推荐: http://pic2recipe.csail.mit.edu/ 加强版百度API 莫须有数据集 糖尿病 时间-血糖含量关系数据 : https://archive.ics.uci.edu/ml/datasets/diabetes GPA和饮食习惯的关系 : https://www.kaggle.com/borapajo/food-choices 9种体质 //暂定 根据用户的体质来进行推荐菜谱与制定营养计划 —- 两种模式：9体模式和普通健身模式 用户可以随时输入自己当前吃的食物的名字与量 —- 随时记 动态爬虫——http://www.boohee.com/ 每种食材的卡路里等信息（优先kaggle） 卡路里累加器及其可视化、每天个人信息可视化 https://www.xinshipu.com/ 菜谱信息 通过照片提取出食物的卡路里等信息 百度api http://www.zyyssl.com/cookbook.html //中药食材信息、药膳信息、9体、各种病针对的药膳 照片识菜帮 http://www.ttmeishi.com/CaiXi/YaoShan/ //病人对应的食谱 测算http://www.chinacaipu.com/zt/sccs.html 体质算法 11、http://www.chinacaipu.com/menu/jianya/ 特殊人群（压力之类的） 需求分析 登陆、注册 输入基本信息信息（身高、体重、性别、年龄） 额外信息（工作、周均运动时间、睡眠段、九体、病史） 针对没有填写额外信息的用户：选择减肥、增肌、塑形 、保持 可视化（自己的信息和目标标准的比较、根据上述选择改变）每天的量（手环、手机计步器），近几天的曲线 推荐菜谱：两个tab，一个定制菜谱，一个是随机智能推送 单一菜推荐 组合推荐 一周大菜谱推荐（根据每日你自己加的一些信息动态改变） 如果填了额外信息的，就是药膳推荐（一周药膳、周二普通、周三药膳。。。。）（注意可能不想减肥啥的） 百度api->动态录入每顿饭的信息（防抖处理，这里吹牛逼算法，推测吃了多少卡路里），识别后把，动态改变一周定制计划 做菜环节加入识菜帮所有功能，并加入详细食材信息卡路里等 针对特殊人群，混到推荐里推送有利于健康的方法信息（敷黄瓜方法） 特殊病人群体每日相关东西的摄取量的一个限定区间显示 ocr体检单信息录入 针对照片中菜的数量分析吃了多少菜,包含多少卡路里
Tensorflow 实现将图像与标签数据转化为tfRecord文件
09-17
今天小编就为大家分享一篇Tensorflow 实现将图像与标签数据转化为tfRecord文件，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Python-Pic2Recipe根据食品图片猜做法
08-11
Code supporting the CVPR 2017 paper "Learning Cross-modal Embeddings for Cooking Recipes and Food Images"
【今日CV 计算机视觉论文速览 第112期】Mon, 6 May 2019
TomRen
05-09 1527
第112期 视觉论文速览 HDR&SR联合算法 协同分割 无缝场景分割 残差强化学习
【食谱数据集下载recipeitems-latest.json】
Polaris_Yang的博客
01-12 2742
食谱数据集下载数据集功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 下载数据集 进入网页后点击右键保存，数据大小为29M：https://blog.csdn.net/weixin_30625691/article/details/
食品计算—A Large-Scale Benchmark for Food Image Segmentation
最新发布
u013889591的专栏
11-30 1045
食品图像分割是一项关键且不可或缺的任务，对开发与健康相关的应用（例如估算食品热量和营养成分）至关重要。缺乏高质量、具有细粒度食材标签和像素级位置掩码的食品图像数据集——现有数据集要么仅具有粗略的食材标签，要么规模较小。食品的复杂外观使得在食品图像中定位和识别食材变得困难。例如，图像中的食材可能相互重叠，同一种食材在不同食品图像中的外观可能完全不同。在本研究中，我们构建了一个新的食品图像数据集FoodSeg103（及其扩展FoodSeg154），该数据集包含9,490张图像。
Milvus 实战 | 基于 Milvus 的食谱检索系统
ZILLIZ
11-24 1718
概述现在，社交媒体、电商网站以及短视频应用源源不断地产生大量多模态数据。这些数据包含了自然语言、视觉信号、声音信号等多种类型。由于单一模式的数据分析已经不能满足日益复杂的查询需求，如...
探索美食的秘密：im2recipe 开源项目
gitblog_00023的博客
05-25 442
探索美食的秘密：im2recipe 开源项目 项目地址:https://gitcode.com/gh_mirrors/im/im2recipe-Pytorch 1、项目介绍 im2recipe 是一个开源项目，致力于学习烹饪食谱和食物图片的跨模态嵌入。这个项目基于发表在 IEEE Transactions on Pattern Analysis and Machine Intelligence 及...
常用的公共数据集（二）
热门推荐
yh的博客
03-22 2万+
十一、一般视频 AlignMNIST- MNIST手写数据集的人工扩展版本。（en Hauberg） 视听事件（AVE）数据集- AVE数据集包含4143个YouTube视频，涵盖28个事件类别和AVE数据集中的视频，在时间上标有视听事件边界。（田亚鹏，景石，李伯辰，段志尧，徐晨亮） 多模态语义自我中心视频（DoMSEV）的数据集 - 标记80小时的多模式语义自我中心视频（DoMSEV）...
R2GAN
Forlogenの解忧杂货铺
07-07 1112
论文地址：http://vireo.cs.cityu.edu.hk/papers/R2GAN.pdf GitHub：未找到 收录于：CVPR 2019 R2GANR^2GANR2GAN全称Retrieval Generative Adversarial Network，它实现了根据文字描述来生成图像的传统任务，但这里不同之处在于做的是根据食谱来产生相应的食物的图像，想法很是新奇呀~作者认为通过这...
基于机器学习的Pic2Recipe：解析食品图片揭示烹饪秘笈
描述中提到的“Code supporting the CVPR 2017 paper 'Learning Cross-modal Embeddings for Cooking Recipes and Food Images'”进一步指出了这项工作的学术背景。CVPR（Conference on Computer Vision and Pattern...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值