暌违已久的ICCV 2021如约而至。秉持着“帮大家吃得更好,生活更好”的企业使命,本次大会美团将焦点集中在了计算机视觉技术在大规模细粒度食品分析领域的应用。
北京时间10月16日19:00-22:30,美团视觉智能部将携手中科院计算所、北京智源以及巴塞罗那大学,与来自全球的食品计算领域的知名专家学者一起,就“LargeFineFoodAI”主题展开交流研讨。
研讨会议程将重点分为以下三个部分,因疫情影响,全程采用线上方式进行(参与方式详见文章底部)。
01
Invited Talk
作为计算机视觉方向的三大顶会之一的ICCV国际计算机视觉大会,以“LargeFineFoodAI”为研讨主题、聚焦大规模食品图像的细粒度识别与检索尚属首次。在备受期待的分享环节,我们邀请到三位业内顶尖专家,带来关于计算机视觉在食品领域应用的最新理论和实践成果。
Ramesh Jain
美国加州大学欧文分校教授
未来健康研究所创始主任
AAAS, ACM, IEEE, AAAI, IAPR & SPIE Fellow
Personalizing Food for Enjoyment and Health
食物是每个人身体健康和精神愉悦的重要来源,但是个人的饮食偏好未必能与其身体素质相匹配。对于大多数人来说,在健康饮食和快乐饮食之间达到平衡是非常困难的。理想情况下,应该为每个人构建其专属的食物模型来定制其饮食。因此本次分享将围绕如何构建个人专属食物模型及食物图谱展开。
Kiyoharu Aizawa
东京大学信息与通信工程系教授
IEEE Fellow
FoodLog Athl:
Multimedia Food Recording Platform
for Dietary Guidance and Food Monitoring
一款新型的食物日志工具 FoodLog Athl横空出世,它可用于与饮食相关的医疗保健及饮食评估服务。该工具从营养师或监控用户角度出发,可以支持食物图像识别,营养膳食评估、食物营养值测算等多项功能。 此外,本次分享还将介绍该工具在 COVID-19 前后发挥的作用以及相关食物统计数据变化等关键科研成果。
Petia Radeva
巴塞罗那大学数学与计算机科学学院教授
IAPR Fellow
How Food Recognition can
leverage Uncertainty Modeling
神经网络已成为最强大的预测系统之一。其中深度学习的贝叶斯范式将概率作为神经网络架构和参数的学习目标,并通过后验分布对预测的不确定性进行量化。本次分享中我们将探讨为什么需要不确定性估计、以及如何对其进行建模和测算等,同时为了进一步展示其应用价值,我们将探讨食品识别如何利用不确定性进行建模。
02
Challenge Report
本次研讨会组织的以“大规模食品图像识别和检索”为主题的挑战赛也吸引了国内外众多有实力的团队参与,包括清华大学、中国科技大学、南京理工大学、巴塞罗那大学、新加坡南洋理工大学;阿里巴巴、深兰科技、OPPO、欢聚时代等公司在内的143个国内外团队参加比赛。
赛事划分了大规模食品图像细粒度识别和大规模食品图像细粒度检索两大赛道,根据最终结果及提交的技术方案进行评选。研讨会中以下获胜队伍也将像大家汇报竞赛成果与技术方案。
来自欢聚时代、南京理工大学、OPPO的参赛团队
分获识别赛道的一二三名
Rank | Team Name | Top-1 Accuracy(%) |
1 | Joyy-cv | 92.058 |
2 | NJUST-PCALab | 92.032 |
3 | OPPO Research Institute | 92.019 |
Table 1. The ranking list of the top-3 teams in the “Large-scale fine-grained food recognition” challenge at ICCV 2021.
来自深兰科技、中国科学技术大学、OPPO的参赛团队
分获检索赛道的一二三名
Rank | Team Name | mAP@100(%) |
1 | DeepBlueAI | 82.813 |
2 | USTC-NELSLIP | 82.199 |
3 | OPPO Research Institute | 81.191 |
Table 2. The ranking list of the top-3 teams in the “Large-scale fine-grained food retrieval” challenge at ICCV 2021
福利:数据集持续开放
在本次比赛中,我们提出了包含超过 1,000个细粒度食物类别和超过 500,000 张图像的数据集,包含中餐和西餐。在食品专家的帮助下,结合和改编现有的食品分类系统,构建了统一的食品本体。每个类别的图像数量在[153; 1999]范围内,与现有食物数据集相比,体现出更大的类别不平衡,也为识别、检索带来更大挑战!借由本次研讨会及竞赛的契机,我们也将持续公开该数据集,为推进计算机视觉在食品分析领域的应用提供宝贵助力。
点击左下方阅读原文,进入研讨会官网下载数据集
有奖互动
10.16日挑战赛成果汇报环节,参与提问互动的线上观众将有机会获得以下奖品,期待你的提问和挑战!
03
Oral Presentation
据ICCV官方消息,今年共收到投稿6236篇,较上一届增长了约50%;最终1617篇论文被接收,接收率为25.9%。LargeFineFoodAI研讨会以食品分析为主题进行征集,收到了高质量的论文反馈,最终来自卡内基梅隆大学和普渡大学的两篇论文被接收。会上也将邀请到两篇论文的作者带来精彩报告与解读。
论文主题 | 作者 |
Fine-Grain Prediction of Strawberry Freshness using Subsurface Scattering | Jeremy Klotz (Carnegie Mellon University)* Vijay Rengarajan (Carnegie Mellon University) Aswin Sankaranarayanan (Carnegie Mellon University) |
Online Continual Learning For Visual Food Classification | Jiangpeng He (Purdue University) Fengqing Maggie Zhu(Purdue University, USA)* |
民以食为天,当我们用计算机视觉技术去重新探索食物,当前沿与传统碰撞,如何让大家吃得更好、更科学、更健康?期待和我们一起去寻找答案!
参会请长按或扫描上方二维码,回复“LargeFineFoodAI”,自动将您加入LargeFineFoodAI2021技术交流群。会议链接将第一时间在群内发放。
完整议程:https://foodai-workshop.meituan.com/foodai2021.html#index