MoE-LLaVA模型验证中遇到的问题

已于 2024-09-03 16:29:17 修改
阅读量334 收藏
点赞数 2
分类专栏： 端侧大模型 文章标签： 人工智能 语言模型
于 2024-09-03 15:22:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47215499/article/details/141862605
版权

报错信息为：

conv = conv_templates[args.conv_mode].copy()

KeyError: 'conv_template'

print中间过程的输出，发现加载模型时没获取到args.conv_mode，这个参数的获取代码文件在MoE-LLaVA/moellava/serve/cli.py。

于是考虑在报错点上面直接加上定义。

args.conv_mode = qwen

或者

conv = conv_templates['qwen'].copy()

 

这里我用的LLM是qwen，可以根据自己的代码选择具体参数，比如：openchat,phi,stablelm,llava_llama_2,llava_v1,mpt,llava_v0

VLM 系列——MoE-LLaVa——论文解读
TigerZ*的博客
02-05 701
一、概述一、概述1、是什么moe-Llava 是Llava1.5 的改进 全称《MoE-LLaVA: Mixture of Experts for Large Vision-Language Models》，是一个多模态视觉-文本大语言模型，可以完成：图像描述、视觉问答，潜在可以完成单个目标的视觉定位、名画名人等识别（问答、描述），未知是否能偶根据图片写代码（HTML、JS、CSS）。支持单幅图片输入（可以作为第一个或第二个输入），多轮文本对话。
[arxiv论文解读]LlamaFactory：100+语言模型统一高效微调
人工智能曾小健
05-22 1427
有效的微调对于使大语言模型适应下游任务至关重要。然而，在不同的模型上实现这些方法需要付出很大的努力。我们提出了LlamaFactory，一个集成了一套尖端高效训练方法的统一框架。它允许用户通过内置的Web UI LlamaBoard灵活定制100+大语言模型的微调，而无需编码。我们凭经验验证了我们的框架在语言建模和文本生成任务上的效率和有效性。它已在发布，并已获得超过 13,000 个 star 和 1,600 个分叉。LlamaFactory：100+语言模型统一高效微调。
MoE-LLaVA：为大型视觉-语言模型引入专家混合
人工智能讲师分享前沿技术
06-06 828
随着人工智能技术的飞速发展，大型视觉-语言模型（LVLMs）在图像理解和自然语言处理方面展现出了巨大的潜力。这些模型通过结合图像编码器和语言模型，能够处理包括图像描述、视觉问答和图像字幕生成等在内的多种任务。然而，现有模型在训练和推理时存在巨大的计算成本，这限制了它们的应用范围和效率。
MoE-LLaVA
whaosoft143ai的博客
01-31 580
专家 1、4 倾向于处理初始化的 token。该研究采用 POPE 评估 pipeline 来验证 MoE-LLaVA 的物体幻觉，结果如图 5 所示，MoE-LLaVA 展现出最好的性能，意味着 MoE-LLaVA 倾向于生成与给定图像一致的对象。另外，研究团队还关注到最近的小视觉语言模型 TinyGPT-V，MoE-LLaVA-1.8B×4 在相当的激活参数下在 GQA 和 VisWiz 分别超过 TinyGPT-V 27.5% 和 10%，这标志着 MoE-LLaVA 强大的理解能力在自然视觉中。
MoE-LLaVA: Mixture of Experts for Large Vision-Language Models
s_m_c的博客
08-05 561
与 SOTA 方法 LLaVA-1.5 相比，MoE-LLaVA-2.7B×4 展现了强大的图片理解能力，在 5 个 benchmark 上性能非常接近 LLaVA-1.5。MoE-LLAVA 仅在大约 3B 稀疏激活参数的情况下，在各种视觉理解数据集上表现出与 LLAAVA-1.5-7B 相当的性能，甚至在对象幻觉基准测试中甚至超过了 LLAVA-1.5-13B。当 top-k 个专家被激活时，其余的专家保持非活动状态，这种模型构成了具有无限可能的稀疏通路的 MoE-LLaVA。
MoE-LLaVA——将多模态大模型稀疏化
我爱计算机视觉
02-01 328
关注公众号，发现CV技术之美MoE-LLaVA只有3B个稀疏激活参数，表现与LLaVA-1.5-7B在各种视觉理解数据集上相当，并且在物体幻觉基准测试中甚至超越了LLaVA-1.5-13B。通过MoE-LLaVA，我们旨在建立稀疏LVLMs的基准，并为未来研究开发更高效和有效的多模态学习系统提供宝贵的见解。并且MoE-LLaVA团队已经开放了所有的数据、代码和模型。demo：Github: htt...
MoE-LLaVA：大视觉-语言模型的专家混合
yorkhunter的博客
07-24 524
24年1月来自北大、中山大学和FarReel AI Lab等单位的论文“MoE-LLaVA: Mixture of Experts for Large Vision-Language Models”。
北大等提出MoE-LLaVA：将多模态大模型稀疏化
阿木寺的博客
02-05 380
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【多模态学习】交流群扫描下方二维码，加入CVer学术星球，可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文搞科研，强烈推荐！代码（刚刚开源）:https://github.com/PKU-YuanGroup/MoE-LLaVA论文：https://arxiv.org/abs/2...
腾讯+厦门大学开源AVG-LLaVA | 速度性能全面超越Mini-Gemini-HD与LLaVA-NeXT等模型
m0_59164304的博客
10-12 782
近年来，人工智能（AI）领域在大规模多模态模型（LMMs）方面取得了显著的进步（OpenAI），这标志着向人工通用智能（AGI）迈进的进一步步骤。大多数现有的LMMs遵循LLaVA的结构，包括一个视觉编码器将图像嵌入视觉 Token ，以及一个连接器将它们映射到LLM的词向量空间。然后，这些视觉 Token 被输入到大规模语言模型（LLM）进行多模态理解和推理，与词向量一起。
【多模态】35、TinyLLaVA | 3.1B 的 LMM 模型就可以实现 7B LMM 模型的效果
呆呆的猫的博客
06-06 1417
本文主要介绍 TinyLLaVA
ollama 本地部署大模型
热门推荐
03-17 4万+
根据 ChatGPT 的使用经验，多数人都已知晓系统提示词的重要性。好的系统提示词能有效地将大模型定制成自己需要的状态。在 Ollama 中，有多种方法可以自定义系统提示词。首先，不少 Ollama 前端已提供系统提示词的配置入口，推荐直接利用其功能。此外，这些前端在底层往往是通过API"content": "以海盗的口吻简单作答。},"content": "天空为什么是蓝色的？],}'其中role为system的消息即为系统提示词。
大模型实战—Ollama 本地部署大模型
2401_84052244的博客
04-25 1139
根据 ChatGPT 的使用经验，多数人都已知晓系统提示词的重要性。好的系统提示词能有效地将大模型定制成自己需要的状态。在 Ollama 中，有多种方法可以自定义系统提示词。首先，不少 Ollama 前端已提供系统提示词的配置入口，推荐直接利用其功能。此外，这些前端在底层往往是通过APIcurl -d '{"content": "以海盗的口吻简单作答。},"content": "天空为什么是蓝色的？],}'其中role为system的消息即为系统提示词。
基于ollama实现大模型llm快速部署
xiaomu_347的博客
05-24 255
项目，llama.cpp 项目用 C/C++ 重写了推理代码，既避免了 PyTorch 引入的复杂依赖，又提供了更为广泛的硬件支持，包括纯 CPU 推理、Apple Silicon 在内的各类底层计算架构都得以充分发挥对应的推理加速。而作为价值约 8 美元/月的 Raycast AI 的平替，Raycast Ollama 实现了 Raycast AI 的绝大多数功能，且随着 Ollama 及开源模型的迭代，还将支持多模态等 Raycast AI 不支持的功能，可谓潜力无限。此外，还可以换用其他模型。
ks8 本地化部署 F5-TTS
最新发布
陈锐的技术笔记
11-13 385
此外，F5-TTS 还创新性地引入了推理时的 Sway Sampling 策略，这一策略可以在推理阶段优先处理早期的流步骤，从而提高生成语音与输入文本的对齐效果。在 LibriSpeech-PC 数据集上，该模型的字错误率（WER）达到了2.42，并且在推理时的实时因子(RTF)为0.15，显著优于之前的扩散模型 E2TTS，后者在处理速度和鲁棒性上存在短板。传统的 TTS 模型往往需要进行复杂的持续时间建模、音素对齐和专门的文本编码，这些都增加了合成过程的复杂性。继续TSS的启动，进入pod 输入命令。
机器学习系列----岭回归（Ridge Regression）简介及实现
DK22151的博客
11-09 1081
岭回归（Ridge Regression），也被称为Tikhonov正则化，是一种线性回归的变体。它通过在普通最小二乘法（OLS）回归中加入L2正则化项来解决多重共线性问题，从而提高模型的泛化能力和鲁棒性。岭回归的核心思想是通过惩罚模型的参数，使得它们保持较小的值，从而减少过拟合的风险。岭回归适用于当特征之间高度相关时（即多重共线性问题），普通的线性回归模型可能会变得不稳定，并且模型的系数可能会变得非常大。岭回归通过加上一个正则化项，约束了模型参数的大小，从而使得模型更加稳健。
PCA（主成分分析）算法的应用场景
huanfeng_AI的博客
11-09 607
需要注意的是，PCA并不适用于所有场景。例如，当数据之间存在非线性关系时，PCA可能无法完全揭示数据的内在结构。此外，PCA对初始变量的顺序和标签敏感，不同的变量顺序可能导致不同的主成分结果。因此，在选择数据分析方法时，需要根据具体的数据和任务需求来决定是否使用PCA。
探索App Intents：让你的应用与Siri无缝互动的新方式
jixn的博客
11-09 3711
苹果推出了一个新框架——App Intents，使开发者可以在iOS 18.2+、macOS 15.2+等平台上集成Siri和Apple Intelligence，实现对应用内容的读取和操作。App Intents使应用的功能和内容能无缝融入系统体验中，例如Siri、Spotlight搜索、快捷指令和小组件，让用户可以轻松访问应用核心功能，并获得更智能的Siri帮助。：表示应用内容，如照片、联系人或文件。：用户可以对 Siri 发出指令，例如“查找我的航班”或“添加待办事项”，Siri直接与应用交互。
AI重塑软件开发流程
车轮的博客
11-10 1286
既然谈到传统软件开发与AI参与的软件开发的对比，我们就来看一下这两者之前的区别。
trace.moe-worker: 后台工作节点的技术实现与配置
trace.moe-worker是一个负责处理和管理后台工作的节点程序，它主要用于处理视频帧的哈希匹配，以及将数据同步到不同的服务中。具体地，它监视文件系统更改，并将哈希上传至trace.moe-media；它还会从trace.moe-media...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值