GLM-4已支持Ollama部署

最新推荐文章于 2025-03-15 11:30:00 发布
最新推荐文章于 2025-03-15 11:30:00 发布
阅读量2.4k 收藏 12
点赞数 13
文章标签： 人工智能 阿里云 语言模型 云计算 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_59235245/article/details/140306505
版权

GLM-4已支持Ollama部署

智谱开源GLM-4已支持Ollama部署：

在这里插入图片描述

# 执行以下命令即可部署运行  
ollama run glm4

注意:此模型需要Ollama 0.2或更高版本，目前处于预发布阶段。

当前支持ollama部署的仅为语言模型，多模态模型尚不支持ollama部署。

模型介绍

GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。在语义、数学、推理、代码和知识等多方面的数据集测评中，GLM-4-9B
及其人类偏好对齐的版本 GLM-4-9B-Chat 均表现出超越 Llama-3-8B 的卓越性能。除了能进行多轮对话，GLM-4-9B-Chat
还具备网页浏览、代码执行、自定义工具调用（Function Call）和长文本推理（支持最大 128K 上下文）等高级功能。本代模型增加了多语言支持，支持包括日语，韩语，德语在内的
26 种语言。我们还推出了支持 1M 上下文长度（约 200 万中文字符）的 GLM-4-9B-Chat-1M 模型和基于 GLM-4-9B 的多模态模型
GLM-4V-9B。GLM-4V-9B 具备 1120 * 1120 高分辨率下的中英双语多轮对话能力，在中英文综合能力、感知推理、文字识别、图表理解等多方面多模态评测中，GLM-4V-9B
表现出超越 GPT-4-turbo-2024-04-09、Gemini1.0 Pro、Qwen-VL-Max 和 Claude 3 Opus 的卓越性能。

模型列表

ModelTypeSeq LengthDownloadOnline Demo
GLM-4-9BBase8K🤗 Huggingface 🤖 ModelScope/
GLM-4-9B-ChatChat128K🤗 Huggingface 🤖 ModelScope🤖 ModelScope
GLM-4-9B-Chat-1MChat1M🤗 Huggingface 🤖 ModelScope/
GLM-4V-9BChat8K🤗 Huggingface 🤖 ModelScope/

评测结果

对话模型典型任务

ModelAlignBenchMT-BenchIFEvalMMLUC-EvalGSM8KMATHHumanEvalNaturalCodeBench
Llama-3-8B-Instruct6.408.0068.668.451.379.630.062.224.7
ChatGLM3-6B5.185.5028.166.469.072.325.758.511.3
GLM-4-9B-Chat7.018.3569.072.475.679.650.671.832.2

基座模型典型任务

ModelMMLUC-EvalGPQAGSM8KMATHHumanEval
Llama-3-8B66.651.2-45.8-33.5
Llama-3-8B-Instruct68.451.334.279.630.062.2
ChatGLM3-6B-Base61.469.026.872.325.758.5
GLM-4-9B74.777.134.384.030.470.1

由于 GLM-4-9B 在预训练过程中加入了部分数学、推理、代码相关的 instruction 数据，所以将 Llama-3-8B-Instruct 也列入比较范围。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么？
  • 大模型是怎样获得「智能」的？
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例：向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示（Embeddings）
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2：手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身：基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例：如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

大靠山
关注
GLM-4-9B 支持 Ollama 部署
Andy_shenzl的博客
07-12 1424
它提供了一个简单而高效的接口，用于创建、运行和管理这些模型，同时还提供了一个丰富的预构建模型库，可以轻松集成到各种应用程序中。通过Ollama，用户可以方便地部署和运行GLM-4-9B 等开源的大语言模型。此外，Ollama还提供了包括网页、桌面应用和终端界面在内的多种互动方式，方便用户使用和管理这些模型。在语义、数学、推理、代码和知识等多方面的数据集测评中， GLM-4-9B 在各项能力上均表现出卓越的能力。该模型是在 GLM-4-9B 基础上持续训练的多语言代码生成模型，显著提升了代码生成能力。
Ollama接入GLM或Baichuan2等本地LLM模型
AIOT魔法师
04-27 2867
下载Ollama二进制文件，直接使用.sh安装网络太卡了，即便是开了代理也卡，故在此使用二进制安装。使用vi往里面输入，在此我用的是Baichuan2 13B Chat，为了保险起见采用绝对路径。由于我系统盘只有20G加载模型时候报错了，因此我做了一个映射（空间够忽略这条）启动Ollama（本终端会一直被占用）新建一个连接终端，跑模型。安装配置Ollama。
【LLM大模型】谷歌AI杰玛Gemma大模型开源了！附2个本地部署安装教程和实例
pythonhy的博客
08-07 1333
Gemma 是一个轻量级、先进的开放模型系列，采用与创建 Gemini 模型相同的研究和技术构建而成。Gemma 由 Google DeepMind 和 Google 的其他团队开发，以拉丁语 gemma（意为“宝石”）命名，中文名杰玛。Gemma 模型权重由促进创新、协作和负责任地使用人工智能 (AI) 的开发者工具提供支持。
超低配置完成 GLM-4-9B本地部署，支持 Ollama（附教程）
2301_81888214的博客
03-15 1129
GLM-4-9B 是智谱 AI 推出的预训练模型 GLM-4 系列中的开源版本。在语义、数学、推理、代码和知识等多方面的数据集测评中， GLM-4-9B 在各项能力上均表现出卓越的能力。
DeepSeek + Python 提效测试用例生成落地
weixin_44872675的博客
02-05 3749
通过 DeepSeek 结合自动化测试工具（如 Selenium 或 pytest），将生成的测试用例转化为自动化测试脚本。结合 DeepSeek 的语义分析功能，检查测试用例是否覆盖所有需求，并补充遗漏的测试场景。构建统一的测试用例库，支持整个团队通过 DeepSeek 查询和复用测试用例，减少重复劳动。的能力扩展到测试用例生成场景，并探讨具体的落地实践和可扩展的应用场景。将测试用例与历史缺陷关联，生成针对性用例，确保修复的缺陷不会再次出现。通过关键词提取和语义分析，解析需求文档中的重要信息。
TensorFlow相关组件的安装
AAI666666的博客
01-11 2530
TensorFlow相关组件的安装
62页PPT，初步看懂人工智能！
数据中心运维管理
08-08 1239
来源：鲜枣课堂
23张PPT搞懂DeepSeek核心技术！
QcloudCommunity的博客
02-12 1720
DeepSeek 作为AI 大模型其中的佼佼者，各种突破与创新不断涌现，正引领着人工智能发展的新方向；本文以 PPT 式风格直观呈现技术精髓，深入揭秘 DeepSeek 核心技术。关注腾讯云开发者，一手技术干货提前解锁????今晚7:30还有腾讯云工程师还将现场演示教你 DeepSeek 丝滑部署的 N 种方式，记得预约直播！????DeepSeek 核心技术大揭秘，以 “PPT 式风格” 更好地展现核心技术...
GLM-4-Flash 大模型API免费了，手把手构建“儿童绘本”应用实战（附源码）
老牛啊
08-27 2796
GLM-4-Flash 大模型API免费了，我们本文基于免费API构建一个“儿童绘本”应用，包括使用文生图产出绘本故事插图……
7.Windows11下Ollama安装使用，运行Qwen2-7B、Yi-1.5-6B，GLM-4-9B
07-12 1536
本次介绍如何在Windows11下，使用ollama运行Qwen2-7B，YI-1.5-6B和GLM-4-9B开源大模型。Ollama 是一个开源的 LLM（大型语言模型）服务工具，用于简化在本地运行大语言模型，降低使用大语言模型的门槛，使得大模型的开发者、研究人员和爱好者能够在本地环境快速实验、管理和部署最新大语言模型，包括如 Llama 3 、 Phi 3 、 Mistral 、 Gemma 等开源的大型语言模型。
阿里研究院：2024大模型训练数据白皮书.pdf
06-30
《阿里研究院：2024大模型训练数据白皮书》是一份全面分析大模型训练数据领域现状、挑战和未来发展的报告。报告深入探讨了训练数据的来源、质量、标注、安全以及隐私保护等方面，为大模型训练提供了丰富的数据洞察和策略建议。该白皮书不仅总结了当前大模型训练数据的应用现状，还预测了未来数据需求的趋势，并对数据安全和隐私保护提出了重要的思考。
余俊晖-多模态GraphRAG初探文档智能知识图谱大模型结合范式.pdf
最新发布
04-05
DataFunSummit2025知识图谱峰会嘉宾演讲PPT合集
23张PPT详解DeepSeek核心技术：架构创新与行业应用进展
02-21
内容概要：这篇PPT文档详细介绍并解释了中国本土大语言模型DeepSeek的关键技术和应用前景。首先，概述了DeepSeek的独特特点，如内容token化、无自我意识及上下文长度限定等。接着深入探讨了DeepSeek的核心技术架构及其创新点，例如多模态深度Transformer和支持文本、代码、数学符号的统一理解，MoE（Mixture of Experts）架构以及多层级注意力机制MLR。文档中提到DeepSeek通过架构改进和技术优化实现了低成本训练及高性能推理，在金融、医疗等多个行业中得到了成功的应用。文档同时也分析了DeepSeek的优势——相较于其他国际领先的AI模型，具有更低廉的训练费用和较高的运行效能。文档的最后一部分内容介绍了高效使用DeepSeek的方法及应用场景案例，并指出它不仅能在复杂的工业环境中运用自如。 适合人群：有兴趣深入了解人工智能领域的研究人员和工程师；需要应用深度学习技术的企业和个人。 使用场景及目标：①想要快速了解最前沿的人工智能技术趋势和发展现状；②寻找能够应用于特定领域的先进大模型方案；③希望掌握利用大模型解决问题的有效途径和实践经验。
【小白教程】ARC a750本地运行glm-4-9b
weixin_48981851的博客
09-11 550
GPU整体速度比CPU快不少，int4量化优化效果很明显，但win10任务管理器性能显示GPU占用还是不高，a750显卡驱动显示GPU活动80%左右，看起来是系统识别显卡活动不太准。打开modelscope网站：https://www.modelscope.cn/models/ZhipuAI/glm-4-9b-chat-1m/files。放到这里D:\AI\openvino-LLM\glm-4-9b-chat-1m，也可以根据自己情况更改路径。看起来比int4-GPU要慢，但是CPU活动没有占满。
AI菜鸟向前飞 — LLM简介
2401_82469710的博客
05-11 1556
AI菜鸟向前飞 — LLM简介
2023大模型安全解决方案白皮书
12-06 989
在当今迅速发展的数字化时代，人工智能技术正引领着科技创新的浪潮而其中的大模型技术则被视为人工智能的一大突破。大模型是指参数量巨大能力强大的人工神经网络模型，以其卓越的表现在自然语言处理、计算机视觉、语音识别等领域赢得了持续的关注和青睐。这些模型的出现，不仅在学术界引起了研究者们的广泛兴趣，也在商业应用领域带来了一系列创新和变革大模型技术的崛起，首要得益于深度学习的发展以及硬件计算能力的提升。深度学...
Langchain-Chatchat部署ollama
03-14
<think>嗯，用户想了解如何在Ollama平台上部署Langchain-Chatchat。首先，我需要回想一下现有的知识库中的相关信息。根据提供的引用，引用[2]提到了使用Xinference来部署Langchain-Chatchat，而引用[3]则提供了GitHub地址和创建虚拟环境的步骤。不过用户问的是Ollama平台，而Ollama主要用于本地运行大型语言模型，可能需要调整原有的部署步骤。 首先，Ollama支持本地运行模型，所以需要确认Langchain-Chatchat是否支持Ollama作为后端。可能需要在配置文件中指定Ollama的API地址。比如，在初始化时可能要用类似`chatchat init -l ollama`这样的命令，但需要查看官方文档是否支持。 然后，安装步骤可能需要先安装Ollama，再按照Langchain-Chatchat的标准流程配置。比如，克隆仓库、安装依赖、修改配置文件中的模型路径为Ollama的本地服务地址，比如http://localhost:11434。启动Ollama服务后，再启动Langchain-Chatchat的服务端和客户端。 可能遇到的问题包括依赖冲突，需要确保Python版本和库的兼容性。另外，需要确认Ollama支持的模型是否与Langchain-Chatchat兼容，比如是否支持glm4或bge等模型。如果官方文档没有明确说明，可能需要社区或论坛的支持。 用户还可能关心如何验证部署是否成功，比如通过访问本地知识库管理界面或进行聊天测试。最后，生成相关问题时，要考虑用户可能的后续疑问，比如性能优化、模型选择或集成到现有系统的方法。</think>### 如何在Ollama平台上部署Langchain-Chatchat？ #### 部署步骤概述 目前官方文档未明确说明直接支持Ollama平台，但可通过以下步骤尝试适配： 1. **安装Ollama环境** - 下载并安装Ollama（支持Linux/macOS/Windows）[^3] ```bash curl -fsSL https://ollama.ai/install.sh | sh ``` 2. **配置Langchain-Chatchat** - 克隆仓库并创建虚拟环境（Python≥3.11） ```bash git clone https://github.com/chatchat-space/Langchain-Chatchat conda create -n langchain python=3.11.7 conda activate langchain ``` - 安装依赖（注意需兼容Ollama接口） ```bash pip install -r requirements.txt ``` 3. **修改模型配置** - 在`configs/model_config.py`中，将LLM服务地址指向Ollama本地API： ```python LLM_MODEL = { "ollama": { "api_base_url": "http://localhost:11434", # Ollama默认端口 "api_key": "none" } } ``` 4. **启动服务** ```bash # 启动Ollama服务 ollama serve # 启动Langchain-Chatchat python startup.py -a ``` #### 关键注意事项 - **模型兼容性**：需确认Ollama支持的模型是否包含Langchain-Chatchat要求的模型（如`glm4`或`bge`）[^1] - **接口适配**：可能需要修改`libs/chatchat-server`中的API调用逻辑以匹配Ollama接口规范[^2] - **依赖冲突**：注意`protobuf`等库的版本兼容问题，建议使用虚拟环境隔离[^3]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值