Talk｜CityU 助理教授马佳葳: CVPR 2024, 基于多模态理解的混合数据专家模型

本期为TechBeat人工智能社区第604期线上Talk。

北京时间6月27日(周四)20:00，香港城市大学助理教授—马佳葳的Talk已经准时在TechBeat人工智能社区开播！

他与大家分享的主题是: “基于多模态理解的混合数据专家模型”，他向大家介绍了混合数据专家模型MoDE，在理解数据的基础上，通过分治法来指导多个小模型的训练，提升下游任务表现并降低训练成本。该工作已入选CVPR 2024 Oral & ICLR 2024 Spotlight。

Talk·信息

▼

 主题：基于多模态理解的混合数据专家模型

嘉宾：香港城市大学助理教授 马佳葳

时间：北京时间 6月27日(周四)20:00

地点：TechBeat人工智能社区

点击下方链接，即可观看视频！

TechBeatTechBeat是荟聚全球华人AI精英的成长社区，每周上新来自顶尖大厂、明星创业公司、国际顶级高校相关专业在读博士的最新研究工作。我们希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。https://www.techbeat.net/talk-info?id=883

Talk·介绍

▼

本次Talk主要介绍混合数据专家模型MoDE：在理解数据的基础上，通过分治法来指导多个小模型的训练，提升下游任务表现并降低训练成本。同时，MoDE强调数据专家的概念，每一个专家模型的训练都完全独立（异步），并在语义层次结构的启发下提出层次聚类，用数据分布来解释模型的能力，实现动态集成，即从系统宽度的角度重新审视模型的尺度。最后，从效率及表现上讨论并展示数据的合理分割为模型训练带来的的优势和以及在不同任务类型下的应用潜能。

Talk大纲

1. CLIP训练简介；

2. 数据角度下大模型训练的挑战；

3. 数据专家；

4. 混合数据专家模型（MoDE）；

5. MoDE的实验论证和灵活性介绍；

6. 未来工作展望

Talk·预习资料

▼

项目名称：

MoDE: CLIP Data Experts via Clustering

项目链接：

https://github.com/facebookresearch/MetaCLIP/tree/main/mode

论文链接：  

https://arxiv.org/abs/2404.16030

论文链接：  

https://arxiv.org/abs/2309.16671

Talk·提问交流

▼

在Talk界面下的【交流区】参与互动！留下你的打call🤟和问题🙋，和更多小伙伴们共同讨论，被讲者直接翻牌解答！

你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！

Talk·嘉宾介绍

▼

马佳葳

香港城市大学 · 助理教授

马佳葳博士毕业于美国哥伦比亚大学，并将于2024年秋季加入香港城市大学计算机科学系担任助理教授。他的主要研究方向为多模态表征学习、终身学习以及去中心化的学习机制。他曾入选CVPR 2024 Doctoral Consortium, 并获得NAACL 2021 Best Demo Paper Award，以及哥伦比亚大学Tesla Scholars & Honors Students 荣誉称号。

个人主页: 

https://www.techbeat.net/grzytrkj?id=39843

---

关于TechBeat人工智能社区

▼

TechBeat(www.techbeat.net)隶属于将门创投，是一个荟聚全球华人AI精英的成长社区。

我们希望为AI人才打造更专业的服务和体验，加速并陪伴其学习成长。

期待这里可以成为你学习AI前沿知识的高地，分享自己最新工作的沃土，在AI进阶之路上的升级打怪的根据地！

更多详细介绍>>TechBeat，一个荟聚全球华人AI精英的学习成长社区