【ChatGLM】终于！智谱GLM-4-9B 支持 Ollama 部署

最新推荐文章于 2024-10-02 08:45:00 发布
最新推荐文章于 2024-10-02 08:45:00 发布
阅读量1.3k 收藏 13
点赞数 8
文章标签： llama langchain 人工智能 prompt 大模型 ollama AI
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Y525698136/article/details/141640442
版权

在这里插入图片描述

GLM-4-9B 及 CodeGeeX4-ALL-9B 现已支持Ollama部署。
GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。在语义、数学、推理、代码和知识等多方面的数据集测评中， GLM-4-9B 在各项能力上均表现出卓越的能力。

具体可参见 Github Repo：https://github.com/THUDM/GLM-4

CodeGeeX4-ALL-9B 是最新的 CodeGeeX4 系列模型的开源版本。该模型是在 GLM-4-9B 基础上持续训练的多语言代码生成模型，显著提升了代码生成能力。

具体可参见 Github Repo：https://github.com/THUDM/CodeGeeX4

Ollama是一个专为在本地环境中运行和定制大型语言模型而设计的工具。它提供了一个简单而高效的接口，用于创建、运行和管理这些模型，同时还提供了一个丰富的预构建模型库，可以轻松集成到各种应用程序中。Ollama支持多种操作系统，包括macOS、Windows、Linux以及Docker，适用性广泛。通过Ollama，用户可以方便地部署和运行GLM-4-9B 等开源的大语言模型。此外，Ollama还提供了包括网页、桌面应用和终端界面在内的多种互动方式，方便用户使用和管理这些模型。欢迎大家体验！模型地址：

  • https://ollama.com/library/glm4
  • https://ollama.com/library/codegeex4

安装

#执行以下命令即可部署运行ollama run glm4
ollama run codegeex4

注意:此模型需要Ollama 0.2或更高版本，目前处于预发布阶段。当前支持ollama部署的仅为语言模型，多模态模型尚不支持ollama部署。

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

程序学到昏
关注
Ollama教程——入门：开启本地大型语言模型开发之旅
walkskyer的博客
04-02 2万+
ollama不仅支持运行预构建的模型，还提供了灵活的工具来导入和自定义您自己的模型。无论是从GGUF格式导入还是进行模型的个性化设置，ollama都能满足您的需求。您还可以通过自定义提示来调整模型的行为。接着，创建一个ModelfileFROM llama2 # 设置创造性更高的温度参数 PARAMETER temperature 1 # 设置系统消息 SYSTEM "" "你是超级马里奥，以马里奥的身份回答问题。"" "这样，您就能按照自己的需求定制模型了。
Chainlit接入智谱chatGLM结合EmbedChain框架，几行代码就能做出一个AI知识库问答机器人应用
洛阳泰山的博客
08-29 1282
EmbedChain能简化做一个rag知识库问答程序，只需要几行代码就能实现langchain几百行代码的效果。让开发变得更容易！！！
Ollama 本地运行大模型(LLM)完全指南
LuckyTHP
07-29 5529
Ollama是一个专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计的开源工具。它让用户无需深入了解复杂的底层技术，就能轻松地加载、运行和交互各种LLM模型。Ollama 的特点：• 本地部署：不依赖云端服务，用户可以在自己的设备上运行模型，保护数据隐私。• 多操作系统支持：无论是 Mac、Linux 还是 Window，都能很方便安装使用。• 多模型支持：Ollama 支持多种流行的LLM模型，如Llama、Falcon等，用户可以根据自己的需求选择不同的模型，一键运行。
Ollama —— 在本地启动并运行大语言模型
最新发布
瓦罗兰特顶级C位的博客
10-02 1228
Ollama (https://ollama.com/) 是一款命令行工具，可在 macOS 、 Linux 、Windows 上本地运行 Llama 2、Code Llama 、Gemma 等模型。
【LLM大模型】谷歌AI杰玛Gemma大模型开源了！附2个本地部署安装教程和实例
pythonhy的博客
08-07 654
Gemma 是一个轻量级、先进的开放模型系列，采用与创建 Gemini 模型相同的研究和技术构建而成。Gemma 由 Google DeepMind 和 Google 的其他团队开发，以拉丁语 gemma（意为“宝石”）命名，中文名杰玛。Gemma 模型权重由促进创新、协作和负责任地使用人工智能 (AI) 的开发者工具提供支持。
20.6K+ Star！一个开源的LLM（大型语言模型）应用开发平台
z099164的博客
08-09 770
Dify是一个开源的LLM（大型语言模型）应用开发平台，它通过直观的界面结合了AI工作流程、RAG（检索-分析-生成）管道、代理功能、模型管理、可观察性特性等，使用户能够快速从原型设计转向产品生产。
教你本地化部署与使用一款免费的LLM应用工程化平台
m0_63171455的博客
06-03 2710
平台已经就绪，现在需要让应用与Langfuse集成起来，以能够跟踪、评估与分析我们的应用。使用Langfuse的SDK/API，Langfuse能够与现有的任意应用做集成，但如果你的应用是基于LangChain、LlamaIndex这样的开发框架，那么使用起来会更加方便，这里先介绍与LangChain应用集成。随着LLM应用的不断成熟，特别是在B端企业场景中的逐渐落地，其不再停留在原型与验证阶段，将面临着更高的工程化要求，无论是输出的稳定性、性能、以及成本控制等，都需要实现真正的“生产就绪”；
【LLM 应用开发框架，聊天机器人平台、开源选用】
一休
08-22 614
LLM 应用开发框架，聊天机器人平台、开源选用
bge-large-zh.zip
03-18
《构建基于大模型的智能问答系统：以bge-large-zh+chatglm3-6b为例》 在当今的信息时代，智能问答系统已经成为人们获取知识、解决问题的重要工具。本篇文章将深入探讨如何利用大型预训练语言模型，如“bge-large-zh...
GLM-130B
u013250861的博客
08-04 294
上周六在直播里看了清华大学曾奥涵同学做的报告“从GLM-130B到ChatGLM：大模型预训练与微调”，整个报告分为三个部分，本文是根据其中的第二段“大规模语言模型系列技术：以GLM-130B为例”中的部分内容整理而成的笔记，可以通过这份笔记快速了解一下GLM-130B的训练过程。
免费的真是太香了！Chainlit接入抖音 Coze AI知识库接口快速实现自定义用户聊天界面
洛阳泰山的博客
08-22 1367
由于Coze只提供了一个分享用的网页应用，网页访问地址没法自定义，虽然可以接入等开源应用。但是如果我们想直接给客户应用，还需要客户去设置配置，里面还有很多我们不想展示给客户的东西怎么办？于是，我使用Chainlit实现了一个无缝快速接入Coze实现自定义用户使用界面的应用，代码清晰简单。还可以自定义logo、欢迎语、网站图标、语言输入、语音设别、文件上传等。Coze国内版可以免费使用 豆包模型、通义千问 qwen-max ， 智谱 GLM-4128K。
免费的真是太香了！Chainlit接入抖音 Coze AI实现多模态对话(文本、图片和文件)
洛阳泰山的博客
09-03 1235
由于Coze只提供了一个分享用的网页应用，网页访问地址没法自定义，虽然可以接入等开源应用。但是如果我们想直接给客户应用，还需要客户去设置配置，里面还有很多我们不想展示给客户的东西怎么办？于是，我使用Chainlit实现了一个无缝快速接入Coze实现自定义用户使用界面的应用，代码清晰简单。还可以自定义logo、欢迎语、网站图标、语言输入、语音设别、文件上传等。Coze国内版可以免费使用 豆包模型、通义千问 qwen-max ， 智谱 GLM-4128K。
Ollama：一个在本地部署、运行大型语言模型的工具
weixin_59191169的博客
05-28 3779
所谓自定义模型就是不适用Ollama官方模型库中的模型，理论可以使用其他各类经过转换处理的模型Ollama库中的模型可以通过提示进行自定义。# 设置温度参数# 设置SYSTEM 消息SYSTEM """作为AI智能助手，你将竭尽所能为员工提供严谨和有帮助的答复。"""Modelfile文档One-API是一个OpenAI接口管理 & 分发系统，支持各类大模型。这里使用Docker快速进行部署。拉取镜像创建挂载目录启动容器访问IP:3001初始账号用户名为 root，密码为 123456。
探秘大语言模型LLM：AI应用开发平台的未来
慕漓的博客
08-23 409
在当前科技迅速发展的时代，正逐渐渗透到各行各业，其中(LLM)和AI应用成为了焦点。这些技术不仅能够解决传统软件测试领域的难题，还为测试职业的发展带来无限可能。本文将介绍该领域的技术功能、使用方法、优势，以及对软件测试职业和行业前景的影响。
首发！Llama3纯本地部署攻略！中文方法！
热门推荐
XD的博客
04-22 1万+
完成了LLAMA3的模型部署，从测试的结果可以看到， llama3的基础模型对于中文的支持并不好，我们的问题是中文，它却返回了英文的结果，原因可能是因为它的训练集有15个T但是其中95%是英文，想要它支持中文更好，还需要使用中文的训练集进行微调，可喜的是，微调llma系列的中文训练集并不少（可能是因为llama系列都有这个问题），后续我会接着对llama3进行微调， 待续。。。
惊艳开源界！20.6K+星标瞩目，打造高性能LLM（大型语言模型）应用的开发平台
bagell的博客
08-26 1068
是一个开源的LLM（大型语言模型）应用开发平台，它通过直观的界面结合了AI工作流程、RAG（检索-分析-生成）管道、代理功能、模型管理、可观察性特性等，使用户能够快速从原型设计转向产品生产。
『保姆级』大模型教程来了（从入门到实战）
2301_76168381的博客
04-01 4287
在大模型的构建之下，AI自动化交互，将会决定世界的未来，谁的大模型更强大，将决定在遥远的未来的话语权，同时，大模型会成为AI基础设施。AI大模型，正在构建的颠覆力，为了更好的入局AI大模型，🔻 针对ChatGLM大模型，介绍ChatGLM模型微调。🔻 大模型的定义和特点，如预训练、微调、指令学习等。🔻 05 精读大模型-3论文、Instruct论文。🔻 04 GLM-130B训练营——论文泛读。🔻 05 GLM-130B训练营——论文精读。🔻 08 Alpaca训练营——论文精读。
一文彻底整明白，基于Ollama工具的LLM大语言模型Web可视化对话机器人部署指南
老牛啊
05-18 5334
在上一篇博文中，我们在本地部署了**Llama 3 8B**参数大模型，并用 Python 写了一个控制台对话客户端，基本能愉快的与 Llama 大模型对话聊天了。但控制台总归太技术化，体验不是很友好，我们希望能有个类似 ChatGPT 那样的 Web 聊天对话界面，本博文就安排起来……
人工智能——使用Ollama部署本地大模型
weixin_72959097的博客
08-21 1314
在如今的 AI 应用领域中，大模型（LLM，Large Language Models）已然成为推动前沿技术发展的关键力量。其中的 Top1 当属 OpenAI 的 GPT 系列无疑，它通过大规模的数据训练、可以执行高质量的语言处理任务，如聊天问答、文本生成、翻译等。去年，ChatGPT 引入了定制个人知识库的支持，该功能采用了检索增强（RAG，Retrieval-Augmented Generation）技术，它使得模型能够在生成回答前、先从知识库中检索相关信息，显著提高了输出的准确性和信息量。
glm-4v-9b 怎么本地部署
06-20
抱歉，我无法提供关于"glm-4v-9b"的具体信息，因为"glm-4v-9b"不是一个常见的软件项目或者技术术语。不过，如果你是在谈论某个开源库或框架的本地部署，通常会涉及以下几个步骤： 1. **下载源码**：首先，你需要从项目的官方网站、GitHub或其他托管平台上下载glm-4v-9b的源代码。 2. **安装依赖**：检查项目文档中提到的依赖项，确保你已经安装了必要的编译器（如GCC或Clang）、开发工具和任何其他必需的库。 3. **配置环境**：根据项目需求设置开发环境变量，比如头文件路径和库文件路径。 4. **构建过程**：执行`configure`命令（如果是使用cmake），然后进行`make`或`cmake --build .`来构建项目。可能需要管理员权限。 5. **安装/运行**：如果项目提供了安装脚本，执行`make install`；如果没有，你可以直接将库文件复制到项目的可访问目录。 6. **测试**：完成安装后，运行一些示例程序或者单元测试来确认它已经成功本地部署并可以正常工作。 7. **文档查阅**：如果遇到问题，查阅项目文档、官方论坛或GitHub上的问题部分可能会有帮助。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值