Talk｜香港科技大学苟耘豪：MoCLE - 指令聚类MoE+通用专家解决多模态大模型任务冲突

最新推荐文章于 2024-06-01 16:27:12 发布
最新推荐文章于 2024-06-01 16:27:12 发布
阅读量794 收藏 13
点赞数 17
分类专栏： 每周Talk上架 文章标签： 自然语言处理 大语言模型 多模态模型 指令微调
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hanseywho/article/details/136069406
版权

本期为TechBeat人工智能社区第571期线上Talk。

北京时间2月8日(周四)20:00，香港科技大学博士生—苟耘豪的Talk已准时在TechBeat人工智能社区开播！

他与大家分享的主题是: “MoCLE - 指令聚类MoE+通用专家解决多模态大模型任务冲突”，系统地介绍了他的团队基于指令聚类和通用专家的MoE多模态大模型微调方法等相关工作所做的研究。

Talk·信息

▼

主题：MoCLE - 指令聚类MoE+通用专家解决多模态大模型任务冲突

嘉宾：香港科技大学博士生 苟耘豪

时间：北京时间 2月8日(周四)20:00

地点：TechBeat人工智能社区

点击下方链接，即可观看视频！

TechBeatTechBeat是荟聚全球华人AI精英的成长社区，每周上新来自顶尖大厂、明星创业公司、国际顶级高校相关专业在读博士的最新研究工作。我们希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。icon-default.png?t=N7T8https://www.techbeat.net/talk-info?id=849

Talk·介绍

▼

本次分享介绍基于指令聚类和通用专家的MoE多模态大模型微调方法。现有的方法让所有数据一起微调，造成任务冲突。我们对任务指令进行聚类，使用聚类结果选择合适的任务专家从而缓解冲突。同时，一个通用专家从所有数据学习共享的知识，增强模型对新任务的泛化性。

Talk大纲

1、背景 - 多模态大模型指令微调的方法介绍

2、观察 - 更多指令数据不一定能带来更好的模型

3、方法 - MoCLE：基于指令聚类和通用专家的MoE多模态大模型微调方法

4、实验 - 聚类专家缓解冲突，通用专家提升泛化

5、结论

Talk·预习资料

▼

Image

论文链接：

https://arxiv.org/abs/2312.12379

Image

论文链接：

https://arxiv.org/pdf/2305.06500.pdf

Talk·提问交流

▼

在Talk界面下的【交流区】参与互动！留下你的打call🤟和问题🙋，和更多小伙伴们共同讨论，被讲者直接翻牌解答！

你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！

Talk·嘉宾介绍

▼

Image

苟耘豪

香港科技大学·博士生

香港科技大学和南方科技大学二年级联培博士生，师从James T. Kwok教授和Yu Zhang教授。主要研究方向为多模态大语言模型，视觉-语言模型与零样本学习，相关工作发表于CVPR、ECCV、CIKM等计算机视觉和数据挖掘的顶级学术会议。

个人主页: 

TechBeat

关于TechBeat人工智能社区

▼

TechBeat(www.techbeat.net)隶属于将门创投，是一个荟聚全球华人AI精英的成长社区。

我们希望为AI人才打造更专业的服务和体验，加速并陪伴其学习成长。

期待这里可以成为你学习AI前沿知识的高地，分享自己最新工作的沃土，在AI进阶之路上的升级打怪的根据地！

更多详细介绍>>TechBeat，一个荟聚全球华人AI精英的学习成长社区

TechBeat人工智能社区
关注
  • 17
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
快速 K-means 聚类：具有 K-mean++ 初始化可能性的快速 mex K-means 聚类算法。-matlab开发
05-31
快速mex K-means聚类算法，可进行K-mean ++初始化 (mex-interface 修改自原始 yael 包 https://gforge.inria.fr/projects/yael) - 接受单/双精度输入 - 支持 BLAS/OpenMP 进行多核计算 请运行 mexme_kmeans.m 来编译 mex 文件（确保已经完成了 mex -setup 至少一个） 运行演示“test_yael_kmeans.m”
ShinyApps:K-均值聚类（Shiny App）作为约翰霍普金斯大学在线课程的一部分制作
06-03
闪亮应用 K-Means Clustering(Shiny App) 作为约翰霍普金斯大学在线课程的一部分制作这个应用程序在 IRIS 数据集上执行 K-Means 聚类。 我们可以选择集群的数量和两个维度。 输出被绘制。
深大计软_最优化方法_实验1：K-Means聚类之Python实现手写数字图像MNIST分类
04-10
深大计软_最优化方法_实验1：K-Means聚类之Python实现手写数字图像MNIST分类
[2017年国赛高教杯奖B题]华中科技大学-基于聚类分析的双目标优化定价模型3
08-03
摘要“拍照赚钱”APP 是基于移动互联网的自助式劳务众包平台，使得企业可利用大众力量，低成本、高效率地完成各种商品检查与信息搜集的任务。本文通过建立数学模型，就
kmpp:具有k-means ++初始化的k-means聚类算法
05-06
千千ppp 当处理大量数据点时，可以使用聚类算法对它们进行分组。 k均值算法将n个数据点划分为k个聚类，并逐步找到这些聚类的质心。 该算法将数据点分配给最近的聚类，然后重新计算每个聚类的质心。 重复这些步骤，直到质心不再变化为止。 基本的k均值算法在任意位置使用k个质心进行初始化。 此实现解决了使用k-means ++算法的任意初始化方法的一些缺点（请参见最后的“更多阅读”）。 安装 通过npm安装 通过NPM将kmpp安装为Node.js模块： $ npm install kmpp 例子 var kmpp = require ( 'kmpp' ) ; kmpp ( [ [ x1 , y1 , ... ] , [ x2 , y2 , ... ] , [ x3 , y3 , ... ] , ... ] , { k : 4 } ) ; // => // { conv
多模态大模型是新一代人工智能技术范式
weixin_43178406的博客
05-02 1万+
 本文主要介绍了推开通用人工智能大门，多模态大模型是新一代人工智能技术范式，希望能对学习大模型的同学们有所帮助。 文章目录 1. 前言 2. 书籍推荐 2.1 内容简介 2.2 本书作者 2.3 本书目录 2.4 适合读者
VALSE 2024 计算机视觉与机器学习 | 文档解析与向量化技术加速多模态大模型训练与应用
dvlinker的技术专栏
05-14 2万+
文档解析与向量化技术加速多模态大模型训练与应用。
机器学习：k-means聚类算法+算法优化
weixin_42219368的博客
07-12 1万+
机器学习：k-means聚类算法
YOLOv3：K-means聚类和K-means++聚类anchor box理论以及源代码
qq_36551226的博客
08-30 1万+
文章目录引言K-meansK-means++ 引言 最近在做YOLOv3的项目，想了想有哪些方面可以优化的，其中一个想法就是聚类算法了。 YOLOv3本身是用K-means聚类出锚框的，但K-means算法本身具有一定的局限性，聚类结果容易受初始值选取影响。K-means算法具体步骤可以参考我这篇博客：看得懂的K-means K-means K-means源码来源：YOLOv3_TensorFlow 首先我们来看一眼YOLOv3训练集的数据格式 第一部分：图片索引 第二部分：图片路径 第三部分：图片宽和高
聚类算法：K-means聚类图像分割
12-22
1 K-Means聚类 K-Means聚类是最常用的聚类算法，最初起源于信号处理，其目标是将数据点划分为K个类簇，找到每个簇的中心并使其度量最小化。该算法的最大优点是简单、便于理解，运算速度较快，缺点是只能应用于连续型数据，并且要在聚类前指定聚集的类簇数。 下面是K-Means聚类算法的分析流程，步骤如下： 第一步，确定K值，即将数据集聚集成K个类簇或小组。 第二步，从数据集中随机选择K个数据点作为质心（Centroid）或数据中心。 第三步，分别计算每个点到每个质心之间的距离，并将每个点划分到离最近质心的小组，跟定了那个质心。 第四步，当每个质心都聚集了一些点后，重新定义算法选出新的质心。
基于K-均值聚类的多模态异构大数据检测算法研究
01-12
为了解决传统多模态异构大数据检测算法存在的存储极值高、QTI指标低，而导致数据模态混乱的问题，为解决此问题，建立基于K-均值聚类的多模态异构大数据检测算法。以异构语料库作为大数据支撑背景，借助多模态均值分类器，确定相似性检测度量值，搭建基于K-均值聚类的多模态异构体系。在此基础上，利用多模态型TAN检测网络，恢复处于异构状态的大数据结构体，再通过计算粗糙权重水平的方式，实现多模态异构大数据检测算法研究。应用实验结果表明，与MapReduce检测手段相比，应用异构型检测算法后，大数据结构存储极值出现明显的下降趋势，而QTI指标却大幅提升，原始存在的数据体模态混乱行为得到有效控制。
【模式识别】探秘聚类奥秘：K-均值聚类算法解密与实战
朝花夕拾
12-22 1万+
该博文深入探讨了模式识别领域中的K-均值聚类算法，该算法在图像处理、数据挖掘等领域具有广泛应用。作者首先介绍了K-均值聚类算法的基本原理，包括聚类中心的初始化、数据点的分配和聚类中心的更新。
数据挖掘十大算法（二）：K-means聚类算法原理与实现
热门推荐
tensory的博客
07-12 6万+
参考：1.机器学习-KMeans聚类 K值以及初始类簇中心点的选取2.K-Means算法的研究分析及改进一、K-means算法原理K-means算法是最常用的一种聚类算法。算法的输入为一个样本集（或者称为点集），通过该算法可以将样本进行聚类，具有相似特征的样本聚为一类。针对每个点，计算这个点距离所有中心点最近的那个中心点，然后将这个点归为这个中心点代表的簇。一次迭代结束之后，针对每个簇类，重新计算...
soap和wsdl的定义
aaa321110的博客
11-24 271
SOAP(Simple Object Access Protocol)是一个严格定义的信息交换协议，用于在Web Service中把远程调用和返回封装成机器可读的格式化数据。事实上SOAP数据使用XML数据格式，定义了一整套复杂的标签，以描述调用的远程过程、参数、返回值和出错信息等等。而且随着需要的增长，又不得增加协议以支持安全性，这使SOAP变得异常庞大，背离了简单的初衷。另一方面，各...
AI推介-多模态视觉语言模型VLMs论文速览（arXiv方向）：2024.05.01-2024.05.10
小小帅
05-28 1028
医学图像识别任务因存在多种不同的病理指征而明显复杂化，这给未见标签的多标签分类带来了独特的挑战。这种复杂性凸显了对采用多标签零点学习的计算机辅助诊断方法的需求。预训练视觉语言模型（VLMs）的最新进展展示了医疗图像零镜头分类的显著能力。然而，这些方法在利用来自更广泛图像数据集的大量预训练知识方面存在局限性，而且通常依赖于放射科专家的手动提示构建。通过自动调整提示过程，提示学习技术已成为使 VLM 适应下游任务的有效方法。
AI推介-大语言模型LLMs论文速览（arXiv方向）：2024.04.15-2024.04.20
小小帅
05-30 971
我们提出了一种估算大型语言模型（LLM）内含潜在知识的方法。我们利用 LLM 的上下文学习（ICL）能力来估算 LLM 对知识库中存储的事实的了解程度。我们的知识估算器避免了以往基于提示的方法所存在的可靠性问题，在概念上更简单，应用起来也更容易，而且我们证明它可以揭示出更多蕴藏在 LLM 中的潜在知识。我们还研究了不同的设计选择如何影响基于 ICL 的知识估计的性能。
大语言模型应用与传统程序的不同
姚家湾博客
05-30 662
大语言模型（LLM） 被描述的神乎其神，无所不能，其实，大语言模型只是一个模型，它能够理解和生成自然语言，唯有依靠应用程序才能够发挥作用。例如，基于大模型可以构建一个最简单的会话机器人，需要有IO 模型，将用户的提问发送给大模型，大模型得到回应后，通过输出模块将问答反馈给用户。为了使大模型能够准确地理解用户的提问，LLM 应用程序要给它合适的提示（Prompt），所有的函数都有合适的描述（Description）。可以将大语言模型应用是看作一个基于自然语言描述的的程序。
大语言模型的外挂数据库：RAG检索增强生成
最新发布
weixin_40566713的博客
06-01 218
RAG结合了信息检索和文本生成两种方法，旨在突破传统问答系统的局限。通过将外部数据检索的相关信息输入大语言模型，大语言模型能够基于这些信息生成回答，进而增强答案生成的能力。RAG能够处理更广泛、更复杂的问题。使用RAG后可以有效解决大语言模型细分领域的幻觉和知识过期问题。
k-means聚类算法+PCA
08-29
K-means聚类算法是一种无监督学习算法，用于解决聚类问题。它的原理简单、容易理解，因此得到了广泛的应用。该算法通过对数据进行聚类，将相似的数据点分为同一簇，从而实现对数据的分类和分组。 PCA算法（即主成分分析法）是一种常见的无监督学习算法，也是K-means聚类算法中的一种应用。PCA算法主要用于降维和数据压缩，能够将高维数据映射到低维空间中，保留最重要的特征。它的主要思想是通过线性变换找到数据中的主要方向，即主成分，从而实现数据的降维和可视化。在K-means聚类算法中，PCA可以用于对数据进行降维处理，从而减少计算复杂度并改善聚类效果。 综上所述，K-means聚类算法和PCA算法都是无监督学习算法，用于解决聚类问题。K-means聚类算法通过对数据进行聚类，将相似的数据点分为同一簇，而PCA算法则主要用于降维和数据压缩，能够将高维数据映射到低维空间中，并保留最重要的特征。 <span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [简述 K-means聚类算法](https://blog.csdn.net/weixin_47906106/article/details/125388724)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值