glm-4v-9b_pytorch多模态OCR大模型

最新推荐文章于 2024-10-24 03:42:14 发布
最新推荐文章于 2024-10-24 03:42:14 发布
阅读量1.7k 收藏 9
点赞数 8
分类专栏： 人工智能&深度学习&机器学习 文章标签： 人工智能 OCR 大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27815483/article/details/140290578
版权

GLM-4V

GLM-4V-9B 具备 1120 * 1120 高分辨率下的中英双语多轮对话能力，在中英文综合能力、感知推理、文字识别、图表理解等多方面多模态评测中，GLM-4V-9B 表现出超越 GPT-4-turbo-2024-04-09、Gemini 1.0 Pro、Qwen-VL-Max 和 Claude 3 Opus 的卓越性能。

论文

模型结构

GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。

算法原理

在强化文本能力的同时，我们首次推出了基于GLM基座的开源多模态模型GLM-4V-9B。这一模型采用了与CogVLM2相似的架构设计，能够处理高达1120 x 1120分辨率的输入，并通过降采样技术有效减少了token的开销。为了减小部署与计算开销，GLM-4V-9B没有引入额外的视觉专家模块，采用了直接混合文本和图片数据的方式进行训练，在保持文本性能的同时提升多模态能力。

环境配置

Docker（方法一）

最低0.47元/天 解锁文章
技术瘾君子1573
关注
专栏目录
【深度学习】大模型GLM-4-9B Chat ，微调与部署(1)
q742971636的博客
07-22 1628
下载好东西：下载数据集ccfbdci.jsonl到同级目录下。配置文件微调的配置文件位于configlora.yamlsft.yaml。
智谱&清华联手打造：CogVLM2，全球顶尖开源视觉理解大模型！
m0_59163425的博客
09-05 1391
从VisualGLM和CogVLM开始，持续探讨了视觉语言模型（VLM）的发展，以增强视觉和语言的融合、提升更高分辨率的架构，以及扩展更广泛的模式和应用。现提出CogVLM2家族，包括CogVLM2、CogVLM2-Video和GLM-4V。作为图片理解模型，CogVLM2沿用了视觉专家架构，并将训练图像分辨率提升到1344×1344像素。作为视频理解模型，CogVLM2-Video结合了带有时间戳的多帧输入，并提出了自动生成时间标定数据的方法。
多模态文档理解：多任务通用OCR2.0模型
AIGCmagic的博客
09-30 1073
模型链接：https://modelscope.cn/models/stepfun-ai/GOT-OCR2_0代码链接：https://github.com/Ucas-HaoranWei/GOT-OCR2.0/论文链接：https://arxiv.org/abs/2409.01704。
超越Llama3，多模态比肩GPT4V：GLM-4智能体，新一代语言处理利器
specssss的博客
06-20 589
在语义、数学、推理、代码和知识等多方面的数据集测评中， GLM-4-9B 及其人类偏好对齐的版本 GLM-4-9B-Chat 均表现出超越 Llama-3-8B 的卓越性能。在人工智能领域，自然语言处理技术一直备受关注。由此可见，GLM-4-9B和GLM-4V-9B在多项评测中表现优异，包括对话模型典型任务、基座模型典型任务、长文本能力、多语言能力和工具调用能力。模型性能：在语义、数学、推理、代码和知识等数据集评测中，GLM-4-9B及其对齐版本GLM-4-9B-Chat表现优于Llama-3-8B。
GLM-4v-9B 源码解析（五）
最新发布
龙哥盟
10-24 1027
具备 1120 * 1120 高分辨率下的中英双语多轮对话能力，在中英文综合能力、感知推理、文字识别、图表理解等多方面多模态评测中，GLM-4V-9B 表现出超越 GPT-4-turbo-2024-04-09、Gemini。GLM-4V-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源多模态版本。1.0 Pro、Qwen-VL-Max 和 Claude 3 Opus 的卓越性能。如果你觉得我们的工作有帮助的话，请考虑引用下列论文。GLM-4 模型的权重的使用则需要遵循。
智谱AI GLM4开源！快速上手体验
IT大头的博客
06-05 3423
GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。在语义、数学、推理、代码和知识等多方面的数据集测评中，GLM-4-9B 及其人类偏好对齐的版本 GLM-4-9B-Chat 均表现出较高的性能。GLM-4-9B 模型具备了更强大的推理性能、更长的上下文处理能力、多语言、多模态和 All Tools 等突出能力。
OCR多模态模型Vary的论文阅读笔记
wentinghappyday的博客
01-23 2073
vary论文的阅读笔记
【机器学习】GLM4-9B-Chat大模型/GLM-4V-9B多模态大模型概述、原理及推理实战
人工智能领域博客
06-06 1万+
本文首先对GLM4-9B的模型特点及原理进行介绍，接着分别对GLM4-9B-Chat语言大模型和GLM-4V-9B多模态大模型进行代码实践。排了很多坑，推荐阅读和收藏。
Chatglm-4v-9b-lora微调 日志 实操+细节
2301_79474242的博客
08-21 1085
{"messages": [{"role": "user", "content": "图片中有什么？","image": "/root/GLM-4/图片存放/0000.jpg"},{"role":"assistant","content":"图片中有一棵圣诞树站在人群中。","image": "/root/GLM-4/图片存放/0006.jpg"},{"role":"assistant","content":"图片中有一堆香蕉，旁边有一张孩子的照片。
【大模型】试用glm4v-9b
己亥孟陬
06-28 358
【代码】【大模型】试用glm4v-9b。
glm-4v-9b 部署
m0_60657960的博客
06-07 2526
模型文件地址仓库文件地址硬件配置和系统要求。
glm4-9b-pytorch多轮对话算法模型.zip
07-09
GLM-4-9B是智谱AI推出的最新一代预训练模型GLM-4系列中的开源版本，在语义、数学、推理、代码和知识等多方面的数据集测评中，GLM-4-9B及其人类偏好对齐的版本GLM-4-9B-Chat均表现出超越 GLM-4-9B是智谱AI推出的最新...
GLM-4本地部署的实战教程
热门推荐
herosunly的博客
06-05 14万+
本文主要介绍了GLM-4-9B本地部署的实战教程，希望对学习和使用大模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 下载模型文件 3. 运行glm-4-9b-chat
【深度学习】大模型GLM-4-9B Chat ，微调与部署(3) TensorRT-LLM、TensorRT量化加速、Triton部署
q742971636的博客
07-25 2351
TensorRT-LLM官方目前说在v0.12.0版本才会支持GLM-4-9B Chat ，下面以v0.10.0的魔改来做GLM-4-9B Chat的量化部署。本文目标就是加速GLM-4-9B Chat，看看能多快。A100卡。
GLM-4V模型学习
qq_38915354的博客
06-22 1480
智谱AI引领技术前沿，推出了新一代预训练模型GLM-4系列，其中的GLM-4-9B作为开源版本，展现了其在人工智能领域的深厚实力。在语义理解、数学运算、逻辑推理、代码编写以及广泛知识领域的数据集测评中，GLM-4-9B及其人类偏好对齐的版本GLM-4-9B-Chat均以超越Llama-3-8B的优异表现，证明了其卓越的性能。
【机器学习】阿里Qwen-VL：基于FastAPI私有化部署你的第一个AI多模态大模型
人工智能领域博客
06-17 9340
本文首先在引言中强调了一下OpenAI兼容API的重要性，希望引起读者重视，其次介绍了Qwen-VL的原理与模型结构，最后简要讲了下FastAPI以及搭配组件，并基于FastAPI封装了OpenAI兼容API的Qwen-VL大模型服务端接口，并给出了客户端实现。本文内容在工作中非常实用，希望大家能有所收获并与我交流。期待您的关注+三连
MLM之GLM-4：GLM-4-9B的简介、安装和使用方法、案例应用之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
06-07 6157
​ MLM之GLM-4-9B：GLM-4-9B的简介、安装和使用方法、案例应用之详细攻略 目录 GLM-4的简介 GLM-4-9B的安装和使用 GLM-4-9B的案例应用 GLM-4的简介 GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。 在语义、数学、推理、代码和知识等多方面的数据集测评中，GLM-4-9B及其人类偏好对齐的版本GLM
【工程记录】ChatGLM3-6B 部署的详细教程（Windows）
LZXCyrus的博客
11-23 4949
本文记录ChatGLM3-6B在Windows操作系统中的部署的详细方法。
glm4-9b_pytorch多轮对话模型
qq_27815483的博客
07-11 1034
GLM-4-9B是智谱AI推出的最新一代预训练模型GLM-4系列中的开源版本，在语义、数学、推理、代码和知识等多方面的数据集测评中，GLM-4-9B及其人类偏好对齐的版本GLM-4-9B-Chat均表现出超越
大模型GLM-4V的原理
04-21
GLM-4V是一种大型模型，它的全称是Generalized Linear Model-4V。GLM-4V是一种广义线性模型，它是基于广义线性模型（Generalized Linear Model, GLM）的扩展和改进。 GLM-4V的原理如下： 1. 广义线性模型（GLM）：GLM是一种统计模型，用于建立因变量与自变量之间的关系。它通过将线性回归模型与非线性函数相结合，可以处理不满足正态分布假设的数据。GLM的基本假设是，因变量的分布可以通过一个链接函数与自变量的线性组合相关联。 2. 四个"V"：GLM-4V中的四个"V"代表了四个重要的概念，分别是Variation、Variance、Value和Validation。 - Variation（变异性）：GLM-4V关注因变量的变异性，通过分析因变量的变异程度来确定模型的拟合程度。 - Variance（方差）：GLM-4V考虑了因变量的方差，通过对方差进行建模，可以更好地描述因变量的分布特征。 - Value（价值）：GLM-4V关注因变量的价值，通过对因变量的价值进行建模，可以更好地理解因变量对自变量的响应。 - Validation（验证）：GLM-4V通过验证模型的拟合程度和预测能力，来评估模型的有效性和可靠性。 3. 模型构建：GLM-4V的模型构建包括以下几个步骤： - 数据准备：包括数据清洗、变量选择和数据转换等。 - 模型选择：选择适当的链接函数和误差分布族，并确定自变量的形式。 - 参数估计：使用最大似然估计或广义最小二乘法等方法，估计模型的参数。 - 模型诊断：对模型进行诊断，检验模型的拟合程度和假设条件是否满足。 - 模型评估：通过交叉验证等方法，评估模型的预测能力和稳定性。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

技术瘾君子1573

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值