Talk｜香港科技大学苟耘豪：MoCLE - 指令聚类MoE+通用专家解决多模态大模型任务冲突

最新推荐文章于 2024-11-03 17:50:26 发布
最新推荐文章于 2024-11-03 17:50:26 发布
阅读量907 收藏 13
点赞数 17
分类专栏： 每周Talk上架 文章标签： 自然语言处理 大语言模型 多模态模型 指令微调
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hanseywho/article/details/136069406
版权

本期为TechBeat人工智能社区第571期线上Talk。

北京时间2月8日(周四)20:00，香港科技大学博士生—苟耘豪的Talk已准时在TechBeat人工智能社区开播！

他与大家分享的主题是: “MoCLE - 指令聚类MoE+通用专家解决多模态大模型任务冲突”，系统地介绍了他的团队基于指令聚类和通用专家的MoE多模态大模型微调方法等相关工作所做的研究。

Talk·信息

▼

主题：MoCLE - 指令聚类MoE+通用专家解决多模态大模型任务冲突

嘉宾：香港科技大学博士生 苟耘豪

时间：北京时间 2月8日(周四)20:00

地点：TechBeat人工智能社区

点击下方链接，即可观看视频！

TechBeatTechBeat是荟聚全球华人AI精英的成长社区，每周上新来自顶尖大厂、明星创业公司、国际顶级高校相关专业在读博士的最新研究工作。我们希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。icon-default.png?t=N7T8https://www.techbeat.net/talk-info?id=849

Talk·介绍

▼

本次分享介绍基于指令聚类和通用专家的MoE多模态大模型微调方法。现有的方法让所有数据一起微调，造成任务冲突。我们对任务指令进行聚类，使用聚类结果选择合适的任务专家从而缓解冲突。同时，一个通用专家从所有数据学习共享的知识，增强模型对新任务的泛化性。

Talk大纲

1、背景 - 多模态大模型指令微调的方法介绍

2、观察 - 更多指令数据不一定能带来更好的模型

3、方法 - MoCLE：基于指令聚类和通用专家的MoE多模态大模型微调方法

4、实验 - 聚类专家缓解冲突，通用专家提升泛化

5、结论

Talk·预习资料

▼

Image

论文链接：

https://arxiv.org/abs/2312.12379

Image

论文链接：

https://arxiv.org/pdf/2305.06500.pdf

Talk·提问交流

▼

在Talk界面下的【交流区】参与互动！留下你的打call🤟和问题🙋，和更多小伙伴们共同讨论，被讲者直接翻牌解答！

你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！

Talk·嘉宾介绍

▼

Image

苟耘豪

香港科技大学·博士生

香港科技大学和南方科技大学二年级联培博士生，师从James T. Kwok教授和Yu Zhang教授。主要研究方向为多模态大语言模型，视觉-语言模型与零样本学习，相关工作发表于CVPR、ECCV、CIKM等计算机视觉和数据挖掘的顶级学术会议。

个人主页: 

TechBeat

关于TechBeat人工智能社区

▼

TechBeat(www.techbeat.net)隶属于将门创投，是一个荟聚全球华人AI精英的成长社区。

我们希望为AI人才打造更专业的服务和体验，加速并陪伴其学习成长。

期待这里可以成为你学习AI前沿知识的高地，分享自己最新工作的沃土，在AI进阶之路上的升级打怪的根据地！

更多详细介绍>>TechBeat，一个荟聚全球华人AI精英的学习成长社区

TechBeat人工智能社区
关注
专栏目录
一文速学数模-聚类模型(一)K-means聚类算法详解+Python代码实例
master_hunter的博客
08-07 1万+
博主共参与了数十场数学建模，其中对于未给出标签的数据进行分析时一般第一个想到的就是聚类算法。聚类算法分析又称群分析，它是研究（样品或指标）分类问题的一种统计分析方法，同时也是数据挖掘的一个重要算法。聚类（Cluster）分析是由若干模式（Pattern）组成的，通常，模式是一个度量（Measurement）的向量，或者是多维空间中的一个点。聚类分析以相似性为基础，在一个聚类中的模式之间比不在同一聚类中的模式之间具有更多的相似性。......
一文速学数模-K-means聚类算法实战：信用卡用户画像聚类分析
master_hunter的博客
04-05 7099
该项目算是非常经典的金融业务用户画像的基础分析了，主要根据用户信用卡使用行为数据进行分析，根据收集到的不同字段信息，对每个用户划分类别。这里需要说明一下的是，聚类模型只是将具有相似行为的大部分用户聚集到一个类别里面，这点并不会考虑到每个字段的含义，也就是分成的类别并不是用户价值等级，此类别仅仅是这个类别大体相同的信用卡用户行为对象，并不能给每个用户价值打上标签，那是评价模型做的事，这里要注意不要搞混淆了，用户价值评价是评价模型决定的，而画像是聚类模型分析的。
大模型~合集4
whaosoft143ai的博客
04-10 476
作者认为，通过合成数据，计算模型在训练过程中获得的知识总量的方法，可以为「评估模型架构、训练方法和数据制备」提供了一套系统且精确的打分体系。这和传统的 benchmark 比较完全不同，并且更可靠。他们希望这能帮助未来 LLM 的设计者做出更明智的决策。 whaosoft aiot http://143ai.com
Transformer模型的1000+篇文章总结
02-27 1926
Transformer模型的1000+篇文章总结 本文收集和总结了有关Transformer模型的1000+篇文章，由于篇幅有限只能总结近期的内容，想了解更多内容可以访问：http://www.ai2news.com/, 其分享了有关AI的论文、文章、图书。 query PyTorch的Transformer http://www.ai2news.com/blog/42703/ Transformer-XL：像RNN一样用Transformer http://www.ai2news.com/
Big Model Weekly | 第38期
AITIME_HY的博客
09-28 779
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！01Mini-Omni: Language Models Can Hear, Talk While Thinking in Streaming近期在语言模型方面的进展取得了显著的进步。GPT-4o作为一个新里程碑，实现了与人类的实时对话，展示了接近人类的自然流畅度。这种人机交互需要模型具备直接使用音频模态进行推理的能力，并能够流式生成输出。...
数据挖掘十大算法（二）：K-means聚类算法原理与实现
热门推荐
tensory的博客
07-12 7万+
参考：1.机器学习-KMeans聚类 K值以及初始类簇中心点的选取2.K-Means算法的研究分析及改进一、K-means算法原理K-means算法是最常用的一种聚类算法。算法的输入为一个样本集（或者称为点集），通过该算法可以将样本进行聚类，具有相似特征的样本聚为一类。针对每个点，计算这个点距离所有中心点最近的那个中心点，然后将这个点归为这个中心点代表的簇。一次迭代结束之后，针对每个簇类，重新计算...
基于K-means聚类算法的图像分割及其MATLAB实现
03-05
基于K-means聚类算法的图像分割 算法的基本原理：  基于K-means聚类算法的图像分割以图像中的像素为数据点，按照指定的簇数进行聚类，然后将每个像素点以其对应的聚类中心替代，重构该图像。 算法步骤： ①随机选取...
Python从0到100（五十六）：机器学习-K均值聚类鸢尾花数据集聚类
Hello大家好，我是Dream，如果帮得到你，那我深感荣幸！交流学习、商务合作：https://bbs.csdn.net/topics/614347534
08-27 5万+
K均值聚类是⼀种常⽤的⽆监督学习算法，⽤。K均值聚类算法通过迭代优化来实现聚类，是⼀种简单⽽有效的聚类算法。
m6A-BERT——基于 BERT 的模型可用于预测具有遗传信息的 MRNA 的功能
知来者逆的博客
10-30 978
本研究提出了基于 BERT 的****m6A-BERT-Deg模型，用于预测 mRNA 因 m6A 修饰而降解的情况。该模型的训练方法是**：将mRNA 序列标记为字符串，进行预训练以预测屏蔽标记，然后进行微调**，引入二元分类层以预测分解。该模型的性能高于其他未经预训练的先进模型和以往的模型。在真实细胞上进行的实验也证实了该模型的准确性。使用基于标记贡献的归因得分进行的进一步分析表明，m6A 修饰位点上游的得分较高，表明该区域对调节 mRNA 降解很重要。BERT 模型是能够通过考虑这些嵌入层。
【大语言模型】ACL2024论文-07 BitDistiller: 释放亚4比特大型语言模型的潜力通过自蒸馏
最新发布
11-03 865
本文介绍了BitDistiller，这是一个通过结合量化感知训练（QAT）和知识蒸馏（KD）来提升超低精度（亚4比特）大型语言模型（LLMs）性能的框架。BitDistiller首先采用定制的非对称量化和裁剪技术来尽可能保持量化权重的保真度，然后提出了一种新颖的基于置信度的Kullback-Leibler散度（CAKLD）目标，用于自蒸馏，以实现更快的收敛和更优的模型性能。实验评估表明，BitDistiller在3比特和2比特配置下，无论是在通用语言理解还是复杂推理基准测试中，都显著超越了现有方法。
一个免费开源自托管的机器翻译项目，支持API接口
yunmoon的博客
10-31 991
采用神经翻译技术，使用开源语言模型对文本进行翻译，无需依赖外部服务。该项目的主要编程语言是Python，并根据GNU Affero General Public License v3许可。
自适应对话式团队构建，提升语言模型代理的复杂任务解决能力
人工智能讲师分享前沿技术
10-30 1045
如何有效利用多个大模型（LLM）代理解决复杂任务一直是一个研究热点。由美国南加州大学、宾夕法尼亚州立大学、华盛顿大学、早稻田大学和谷歌DeepMind的研究人员联合提出了一种新的解决方案——自适应团队构建（Adaptive In-conversation Team Building），旨在通过动态管理和组建团队来提高问题解决的效率和准确性。Figure1展示了两种团队构建范式，即“静态构建”和“自适应构建”。
【大语言模型】ACL2024论文-06 探索思维链COT在多模态隐喻检测中的应用
11-02 1406
本文探讨了在广告和互联网迷因（meme）中常见的隐喻检测问题。由于互联网迷因的自由形式，导致缺乏高质量的文本数据。隐喻检测需要对文本和视觉元素进行深入解读，并需要大量的常识知识，这对语言模型构成了挑战。为了应对这些挑战，作者提出了一个紧凑的框架C4MMD，该框架利用思维链（Chain-of-Thought, CoT）方法进行多模态隐喻检测。具体来说，该方法设计了一个三步过程，灵感来自CoT，从多模态大型语言模型（MLLMs）中提取并整合知识到较小的模型中。
NLP segment-01-聊一聊分词 AI 的基础
11-01 596
这是 NLP 的基础步骤之一，尤其在中文处理里尤为关键，因为中文没有天然的空格分隔词语。分词在自然语言处理（NLP）的多个应用场景中起着重要的作用。为了便于大家学习，项目开源地址如下，欢迎 fork+star 鼓励一下老马~是指将一段文本按照一定规则分解为一个个单词或词组的过程。在自然语言处理（NLP）中，
论文 | Ignore Previous Prompt: Attack Techniques For Language Models
m0_49651195的博客
10-30 554
这篇论文探讨了针对大型语言模型（LLM）的“提示注入”攻击，并提出了一种名为 PROMPTINJECT 的框架来研究这类攻击。实验结果表明，目标劫持和提示泄露攻击都是可行的，并且攻击成功率受到多种因素的影响，例如攻击指令、分隔符、温度、恶意字符串、停止序列等。论文讨论了提示注入攻击的风险和影响，并提出了几种可能的解决方案，例如内容审核模型和双参数模型。这篇论文首次系统地研究了针对 LLM 的提示注入攻击，并提出了一个有效的评估框架。论文的结果表明，LLM 容易受到攻击，并且攻击的成功率受到多种因素的影响。
【深入浅出】深入浅出Bert（附面试题）
weixin_44006686的博客
10-31 534
本文的目的是为了帮助大家面试Bert，会结合我的面试经历以及看法去讲解Bert，并非完整的技术细致讲解，介意请移步。
深度学习笔记之BERT(一)BERT的基本认识
静静的学习就好
10-31 467
从本节开始，将介绍BERT系列模型以及其常见的变种形式，主要以逻辑认识为主；并将过去的关于Transformer的相关内容结合起来，形成通顺逻辑即可
PaddleNLP的FAQ问答机器人
11-03 655
在中，项目采用了hnswlib库构建高效的近似最近邻（ANN）索引，其主要创新点在于结合了高维语义向量的索引构建和快速查询优化。该文件提供了一个高维空间内的内积距离计算：使用了来构建基于内积的向量相似性度量，这对于基于深度学习生成的语义向量查询来说，更符合FAQ系统的需求。动态平衡查询速度与内存消耗：通过hnsw_ef和hnsw_m参数，控制了索引在构建过程中的查询速度与准确率之间的权衡，同时优化了模型的内存占用和效率。在data.py中，数据处理模块实现了一个较为创新的问答配对匹配方式。
生成式语言模型的文本生成评价指标(从传统的基于统计到现在的基于语义)
weixin_46034279的博客
11-03 459
BLEU优点：计算速度，适合评估机器翻译等文本生成任务的准确性。依赖于 n-gram 匹配，所以对短文本评价友好缺点：无法衡量语义，容易惩罚语义合理的表示；对自由度较高的生成任务表现不佳使用场景：机器翻译、文本摘要，尤其是目标文本相对固定的情形ROUGE优点：对文本摘要任务适用，尤其是 ROUGE-L 可识别长的匹配序列，适合评估摘要生成中较长的语义片段缺点：依赖表层匹配，缺乏对语义的深层次理解使用场景：在摘要生成任务中表现良好PPL。
K-均值聚类优化的多模态大数据检测算法：降低存储与提升QTI
本文主要探讨了在现代信息技术背景下，面对多模态异构大数据带来的存储效率低下和模态混乱问题，研究人员提出了一种基于K-均值聚类的创新检测算法。传统的多模态异构大数据检测方法，如MapReduce，存在存储需求高和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值