多模态大模型：InternLM-XComposer系列

已于 2024-03-02 10:44:31 修改
阅读量182 收藏 1
点赞数
分类专栏： 论文笔记 多模态大模型 文章标签： 人工智能 论文阅读
于 2024-02-05 14:22:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pku_langzi/article/details/136041060
版权
了解本专栏 订阅专栏 解锁全文 超级会员免费看
猴猴猪猪
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
InternLM-XComposer2:Mastering free-form text-image composition and comprehension in vision-llm
liguandong
05-28 15
预训练阶段使视觉特征与语言对齐，使得llm能够理解图像内容，然而，仍然缺乏有效利用图像信息的能力，在后续的监督微调阶段引入了一系列视觉语言任务，这个阶段包括两个任务，1.Multi-task training，2.Free-form Text-Image Composition，在这个阶段，我们联合微调视觉编码器，llm和Partial lora。自由形式的文本图像组合指的是灵活且无限制的结合文本内容和视觉元素，模型生成交错的文本和图像，收集了大量的数据，1.多样的写作风格，学术论文，社交媒体和诗歌；
MultiModalSA:CMU-MOSEI的多模态情感分析架构
04-13
多模态 CMU-MOSEI的多模态情感分析体系结构。 描述 该信息库包含四种多模式体系结构以及用于CMU-MOSEI的情感分析的相关培训和测试功能。 在数据文件夹中，提供了转录和标签，以用于的标准培训，验证和测试语句。 可以通过以下链接下载BERT嵌入（文本模式），COVAREP功能（音频模式）和FACET功能（视频模式）： BERT嵌入： ：//drive.google.com/file/d/13y2xoO1YlDrJ4Be2X6kjtMzfRBs7tBRg/view？usp COVAREP： ://drive.google.com/file/d/1XpRN8xoEMKxubBHaNyEivgRbnVY2iazu/view usp sharing 脸部表情： ：//drive.google.com/file/d/1BSjMfKm7FQM8n3HHG5Gn9-dTifULC
浦语·灵笔2（XComposer2）模型部署及使用
weixin_41173201的博客
04-17 1738
GPT-4VGemini Pro运行灵笔2需要至少50%算力A100。
LLM系列 | 23：多模态大模型：浦语·灵笔InternLM-XComposer解读、实战和思考
ljp1919的专栏
10-27 1130
浦语·灵笔模型是基于书生·浦语大语言模型研发的视觉-语言大模型图文交错创作: 浦语·灵笔可以为用户打造图文并貌的文章，具体是提供文章生成和配图选择的功能。理解用户指令，创作符合要求的文章。智能分析文章，自动规划插图的理想位置，确定图像内容需求。基于以文搜图服务，从图库中检索出对应图片。图文理解: 浦语·灵笔设计了高效的训练策略，为模型注入海量的多模态概念和知识数据，赋予其强大的图文理解和对话能力。从公布的技术报告可以获悉InternLM-XComposer在公开评测数据集上的战绩。
InternLM-XComposer: A Vision-Language Large Model for Advanced Text-image Comprehension and Composit
kebijuelun的博客
10-12 308
2023 年上海人工智能实验室文章，提出了视觉语言大模型 InternLM-XComposer，具有高级的文本图像理解和组合能力。文章详细介绍了图像文本交织数据的构造方式，同时开源了 7b 的预训练和指令微调模型
（2024，MLLM，视觉语言模型，用于模态对齐的部分 LoRA）InternLM-XComposer2
qq_44681809的博客
01-30 956
本文介绍 InternLM-XComposer2，用于自由形式文本-图像组合和理解的视觉语言模型。它提出 PLoRA，将额外的 LoRA 参数应用于图像 token， 以保持预训练语言知识的完整性，权衡精确视觉理解和文学文本组合。
【InternLM】Lagent智能体工具调用实践&浦语·灵笔（InternLM-XComposer）图文理解创作Demo练习
艰难困苦，玉汝于成。
01-07 1191
AI Agent（人工智能代理）是一种能够感知环境、进行决策和执行动作的智能实体。
（2024，IXC2-4KHD，LVLM，动态图像分割，高分辨率图像处理）InternLM-XComposer2-4KHD
qq_44681809的博客
04-14 1011
IXC2-4KHD 将 LVLM 分辨率能力提升到4K HD甚至更高。它提出动态图像分割，在保留了训练图像宽高比的同时，根据预训练的 ViT 自动变化补丁数量并配置布局，从而实现了从 336 像素到 4K 标准的动态训练分辨率。
【OCR多模态大模型paper阅读笔记--4】InternLM-XComposer2-4KHD精读，8B文档理解新SOTA！中文能力优秀的OCR大模型
最新发布
Mugi_jiang的博客
05-31 560
为了解决高分辨率图像处理中的挑战，本文提出了一种新型的多模态大模型——InternLM-XComposer2-4KHD。该模型能够处理从336像素到4K高清（3840×1600）及以上分辨率的图像。通过这种创新方法，模型在高分辨率图像理解任务中的表现得到了显著提升。
大语言模型-紫东太初多模态大模型
11-16
“紫东太初”跨模态通用人工智能平台是由中国科学院自动化研究所研发的以多模态大模型为核心、基于全栈国产化基础软硬件平台，可支撑全场景AI应用。依托面向超大规模的高效分布式训练框架，自动化所构建了具有业界...
NExT-GPT 是一个端到端通用的任意多模态大型语言模型（MM-LLM）系统
11-12
NExT-GPT 是一个端到端通用的任意多模态大型语言模型（MM-LLM）系统。该存储库托管了 NExT-GPT 的代码、数据和模型权重，NExT-GPT 是第一个端到端的 MM-LLM，它以文本、图像、视频和音频等的任意组合（任意到任意）...
多模态项目实战-文本-视频检索-打架识别
03-22
这⾥分享的⼀个实战项⽬就是多模态⽂本-视频检索，主要采⽤BLIP⼤模型的多模态能⼒，项⽬以 在视频中检测 "打架" ⾏为为示例进⾏展示，当然当你拿到项⽬⼯程后，你可以很⽅便的扩展到其他⾏为 的识别检索，因为本身...
基于中文LLaMA&Alpaca大模型项目开发的多模态中文大模型
11-12
Visual-Chinese-LLaMA-Alpaca（VisualCLA）是基于中文LLaMA&Alpaca大模型项目开发的多模态中文大模型。VisualCLA在中文LLaMA/Alpaca模型上增加了图像编码等模块，使LLaMA模型可以接收视觉信息。在此基础上，使用了...
InternLM-XComposer翻译
nopSled
05-01 20
在过去的一年中，大型语言模型 (LLM) 的开发取得了令人瞩目的进展。这些最先进的模型，包括 ChatGPT、GPT4 和 PaLM 2，已经展现出前所未有的遵循人类指令和解决开放式任务的能力。受到 PaLM-E 和 BLIP2 成功的启发，有一种很有前途的方法可以通过利用视觉特征作为 LLM 的额外输入来扩展用于视觉语言任务的语言模型。
论文笔记 Memory Fusion Network for Multi-view Sequential Learning (AAAI2018)
pku_langzi的博客
07-20 4838
这是卡内基梅隆大学与新加坡南洋理工大学在AAAI上发表的一篇利用memory network来处理序列建模的文章。
对抗样本/对抗攻击
pku_langzi的博客
11-12 2538
对抗样本对抗攻击相关博客
论文笔记 Dynamic Graph Generation Network: Generating Relational Knowledge from Diagrams (CVPR2018)
pku_langzi的博客
09-20 980
Graph与Memory Network相结合
大模型技术进化论:多模态大模型综述 pdf
12-15
《大模型技术进化论：多模态大模型综述》是一篇系统阐述多模态大模型技术进化的综述性论文。多模态大模型是指通过整合多种不同的数据形式和类型，构建出更复杂、更完整的模型，以提高模型的表现和性能。 该论文首先介绍了大模型技术的背景和发展动力。随着数据规模的快速增长和多源数据的丰富性，传统的单一模态模型已经面临着一系列的挑战，无法完全适应现实世界中的复杂情况。因此，多模态大模型的出现成为了解决这一问题的有效手段。 随后，论文针对多模态大模型的构建过程进行了详细的讨论。首先介绍了多模态数据的采集与预处理方法，包括各种传感器和设备的应用，以及数据对齐和归一化等技术。然后，论文详细介绍了多模态特征提取、融合和表示学习方法，包括传统的特征提取算法和深度学习方法等。 接着，论文重点讨论了多模态大模型在各个领域的应用。例如，在计算机视觉领域，多模态大模型能够通过融合图像和文本数据，实现更准确的图像分类和目标检测。在自然语言处理领域，多模态大模型能够通过融合文本和语音数据，实现更准确的情感分析和语音识别。此外，还介绍了多模态大模型在医学、金融、推荐系统等领域的应用。 最后，论文总结了多模态大模型技术的优势和挑战，并展望了未来的研究方向。多模态大模型技术的优势在于可以综合利用不同数据源的信息，提高模型的鲁棒性和泛化能力。然而，多模态大模型技术面临着数据集规模和计算复杂度的挑战，需要进一步研究和改进相应的算法和技术。 综上所述，《大模型技术进化论：多模态大模型综述》通过系统的介绍了多模态大模型技术的构建过程、应用领域和发展前景，对相关研究和应用人员具有重要的参考价值。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

猴猴猪猪

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值