多模态开源项目实战（https://github.com/QwenLM/Qwen-VL）

已于 2024-06-26 13:39:35 修改
阅读量273 收藏
点赞数 3
分类专栏： 大模型实战应用 文章标签： llama
于 2024-05-29 17:18:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_57057282/article/details/139294827
版权

GitHub - HqWu-HITCS/Awesome-Chinese-LLM: 整理开源的中文大语言模型，以规模较小、可私有化部署、训练成本较低的模型为主，包括底座模型，垂直领域微调及应用，数据集与教程等。

1.AttributeError: 'ChatGLMTokenizer' object has no attribute 'sp_tokenizer'. Did you mean: '_tokenize'?

pip install transformers==4.33.0 即可解决

2.PermissionError: [Errno 13] Permission denied: 'SimSun.ttf'

/home/cxh/.conda/envs/env_name/bin/pytweb_demo_mm.py（在root下以cxh的conda环境运行）

（这个问题困扰了我很久，是因为我在公司的4090服务器上的一个用户cxh，需要以root来运行）

fc&&fl
关注
专栏目录
多模态学习原理与代码实战案例讲解
AI大模型应用之禅
05-26 455
1.背景介绍 近几年来，多模态学习（Multimodal Learning）在人工智能领域取得了显著的进展。多模态学习涉及到不同类型的数据（如图像、文本、音频等）之间的相互关联和交互。这种跨学科的研究使得AI系统具备了更丰富的表达能力和理解力，从而在各种应用场景中发挥着重要作用。 本文旨在深入探讨多模态学习的原理与实践，通过代码实例讲解如
开源项目推荐：跨模态适应与多模态模型
gitblog_00058的博客
05-29 617
开源项目推荐：跨模态适应与多模态模型 项目地址:https://gitcode.com/gh_mirrors/cr/cross_modal_adaptation 在当前人工智能领域，如何使模型在不同模态间有效学习和迁移，是研究的热点之一。今天，我们向您隆重推荐一个名为“Cross-Modal Adaptation with Multimodal Models”的开源项目，该项目基于CVPR 202...
多模态研究项目实战指南：Facebook Research的Multimodal库
gitblog_00265的博客
08-10 345
多模态研究项目实战指南：Facebook Research的Multimodal库 multimodalTorchMultimodal is a PyTorch library for training state-of-the-art multimodal multi-task models at scale.项目地址:https://gitcode.com/gh_mirrors/mu/mul...
多模态项目实战班，快速实践多模态项目流程输出相应项目的能力
DAMOXINGHAITAI的博客
09-20 1322
回顾整个实战过程，总结关键点和经验教训。展望未来，多模态技术的发展趋势，以及在人工智能领域的潜在应用。通过这个3000字的实战班，你将不仅了解多模态项目的理论背景，还能掌握实际操作技能，迅速投入到自己的项目中去。记住，实践是检验真理的唯一标准，愿你在多模态项目的道路上越走越远！（全套教程文末领取哈）从大模型系统设计入手，讲解大模型的主要方法；在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；
聊聊大火的多模态项目
深度学习与计算机视觉
06-20 575
多模态机器学习，英文全称 MultiModal Machine Learning (MMML)，旨在通过机器学习的方法实现处理和理解多源模态信息的能力。每一种信息的来源或者形式，都可以称为一种模态。例如，人有触觉，听觉，视觉，嗅觉；信息有语音、视频、文字等媒介；多种多样的传感器，如雷达、红外、加速度计等。以上的每一种都可以称为一种模态。模态也可以有非常广泛的定义，比如我们...
阿里 通义千问LLM Qwen-7B-Chat与Qwen-VL-Chat 使用；国内huggingface模型下载
weixin_42357472的博客
09-04 3500
参考： https://github.com/QwenLM/Qwen-7B https://github.com/QwenLM/Qwen-VL下载模型： https://huggingface.co/Qwen 下载好代码与模型后运行： 下载好代码与模型后运行：运行QwenQwen-VL-Chat-Int4 大概需要15G显卡：（运行报错基本可以对应升级包的库即可 accelerate、peft等）
开源模型应用落地-qwen模型小试-调用Qwen2-VL-7B-Instruct-更清晰地看世界-Lora-V100（四）
最新发布
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
09-26 7151
使用LLaMA-Factory高效微调qwen2-vl-7b-instruct
开源模型应用落地-qwen模型小试-调用Qwen2-VL-7B-Instruct-更清晰地看世界（一）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
09-17 1万+
掌握Qwen2-VL提升职业发展增添强大的竞争力
Qwen-VL: 一种多功能的视觉-语言模型，用于理解、定位、文本阅读等
机器学习，深度学习
08-12 1149
在这项工作中，介绍了 Qwen-VL 系列，一系列大规模的视觉-语言模型（LVLMs），旨在感知和理解文本与图像。
Qwen-VL：多功能视觉语言模型，能理解、能定位、能阅读等
pku_langzi的博客
09-21 2649
阿里的多模态大模型，以千问为基础，加入视觉理解，定位，对话，OCR等能力，并支持中英双语，在众多多模态评测基准上超过InstructBLIP等对比方法。
Xinference实战指南：全面解析LLM大模型部署流程，携手Dify打造高效AI应用实践案例，加速AI项目落地进程
丨汀、的博客
08-16 1229
Xinference实战指南：全面解析LLM大模型部署流程，携手Dify打造高效AI应用实践案例，加速AI项目落地进程
【神经网络必备知识汇总】：多模态深度学习、multi-channel详解及 项目实例
深耕嵌入式领用多年， 致力于分享嵌入式领域技术!
04-15 2496
【神经网络必备知识汇总】：多模态深度学习、multi-channel详解及 项目实例
遇到：PermissionError: [Errno 13] Permission denied: ‘./data\mnist\train-images-idx3-ubyte 错误应该如何解决
高性价比服务器就选：蓝易云
01-09 2490
总结："PermissionError: [Errno 13] Permission denied"错误通常是因为权限不足导致的。确保文件路径和名字正确，并检查文件或目录的权限设置。解决"PermissionError: [Errno 13] Permission denied"错误是因为你的程序没有足够的权限访问指定的文件或目录。这可能是因为你的操作系统用户没有读取或写入该文件或目录的权限。请注意，修改权限时要谨慎操作，确保你对文件或目录的更改是安全和合适的。
SOTA多模态大模型！13个开源模型汇总，附论文和代码
2301_82275412的博客
05-06 1万+
近年来，多模态大模型（Multimodal Large Language Models, MLLMs）在人工智能领域取得了显著的进展，特别是在自然语言处理、计算机视觉和多模态理解方面。这些模型能够理解和生成多种类型的数据，如文本、图像、音频和视频，为多模态学习和应用提供了强大的工具。今天给大家汇总了13个开源多模态大模型，这些模型在各自的领域中刷新了多个SOTA记录，每个模型都将附上相关的论文和代码，一起看看多模态大模型的最新研究成果吧！论文PDF和开源代码都整理好了😝有需要的小伙伴，可以保存图片到。
首个开源、原生多模态生成大模型：变色龙Anole一键生成 「煎鸡蛋」图文菜谱
AI生成式技术曾小健
07-10 1079
17个月的漫长等待，大家共同见证了以文本为核心的LLaVa的崛起，目睹了基于Diffusion的Dalle的惊艳，却始终未能一睹那个能够完美融合文字与图像的模型真容。通过创新的局部微调方法，只调整不到40m参数，在短时间内（8 个 A100 GPU 上大约 30 分钟），便成功激发出Chameleon的图像生成能力，使研究人员和开发者能够充分利用并基于Chameleon的架构进行后续的多模态AI研究工作。近年来，多模态AI技术取得了显著进展，Meta AI推出的Chameleon模型便是其中的代表。
推荐开源项目：DurIAN — 多模态合成的时长信息注意力网络
gitblog_00040的博客
06-09 317
推荐开源项目：DurIAN — 多模态合成的时长信息注意力网络 durian-pytorch Implementation of "Duration Informed Attention Network for Multimodal Synthesis" paper in PyTorch. ...
成功解决PermissionError(权限拒绝解决答案集锦): [Errno 13] Permission denied: ‘f:\\program files\\python\\python36\
热门推荐
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
04-14 14万+
成功解决PermissionError: [Errno 13] Permission denied: 'f:\\program files\\python\\python36\\Lib\\site- 目录 解决问题 解决思路 解决方法 解决问题 成功解决PermissionError: [Errn...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值