GLM-4: 开源多语言多模态对话模型
项目基础介绍和主要编程语言
GLM-4 是由智谱AI推出的开源多语言多模态对话模型系列。该项目主要使用Python进行开发,依赖于PyTorch和transformers等深度学习框架。GLM-4-9B 是该系列中的开源版本,旨在提供一个高性能、多功能的对话模型,支持多种语言和模态的输入输出。
项目核心功能
GLM-4-9B 的核心功能包括:
- 多语言支持:支持包括日语、韩语、德语在内的26种语言,能够进行多语言对话。
- 多模态对话:支持图像和文本的混合输入,具备视觉理解能力,能够进行多模态对话。
- 长文本处理:具备长文本输出能力,单轮对话大模型输出可超过1万token,支持最大128K上下文。
- 高级功能:包括网页浏览、代码执行、自定义工具调用(Function Call)等。
项目最近更新的功能
GLM-4 项目最近更新的功能包括:
- OpenAI API兼容的服务端:2024年9月6日,增加了在GLM-4v-9B模型上构建OpenAI API兼容的服务端。
- 长上下文问答中的细粒度引用:2024年9月5日,开源了使LLMs能够在长上下文问答中生成细粒度引用的模型longcite-glm4-9b以及数据集LongCite-45k。
- Lora adapter的vLLM演示代码:2024年9月4日,增加了在GLM-4-9B-Chat模型上使用带有Lora adapter的vLLM演示代码。
- 长文本输出能力:2024年8月15日,开源了具备长文本输出能力(单轮对话大模型输出可超过1万token)的模型longwriter-glm4-9b以及数据集LongWriter-6k。
- 模型依赖升级:2024年8月12日,GLM-4-9B-Chat模型依赖的transformers版本升级到4.44.0。
这些更新进一步增强了GLM-4-9B的功能和性能,使其在多语言、多模态和长文本处理方面更加强大。