轻松搭建代码大模型：Ollama本地部署一触即达

最新推荐文章于 2025-04-07 05:41:54 发布

大模型入门学习

最新推荐文章于 2025-04-07 05:41:54 发布

阅读量1.3k

点赞数 19

文章标签：语言模型人工智能知识图谱大模型入门大模型大模型训练 Ollama

本文链接：https://blog.csdn.net/2401_84494441/article/details/145093588

版权

CodeGeeX4-ALL-9B作为最新一代CodeGeeX4系列模型的开源版本发布后，很多用户对这次更新的CodeGeeX插件支持本地模式非常感兴趣，都希望能够在本地部署CodeGeeX4-ALL-9B，然后通过本地模式接入CodeGeeX插件中来使用代码补全和智能问答的功能。

CodeGeeX4-ALL-9B这次也专门适配了GGUF，今天我们详细介绍只用简单的一招，不用考虑环境和依赖，通过Ollama跑起来本地的CodeGeeX代码大模型。首先我们需要用到的Ollama也是一个开源项目，是在本地快速跑各种开源大模型的最优选择之一。CodeGeeX4-ALL-9B在开源后不到24小时就获得了Ollama的支持，目前通过Ollama下载已经超过了6000次+。

在这里插入图片描述

安装使用的过程非常简单，跟着下面的教程，大家也可以一起来体验：

首先，把Ollama开源项目一键安装在自己的电脑上。建议安装Ollama0.2或更高版本。MacOS和Windows都有一键安装包。Linux也只需要执行一行命令。

在这里插入图片描述

安装完成后，打开终端，输入ollama，能看到这些信息就说明Ollama已经安装成功。

在这里插入图片描述

接下来我们打开Ollama的官网，搜索CodeGeeX4。

在这里插入图片描述

打开进入详情页面，就可以看到CodeGeeX4-ALL-9B模型的相关介绍和使用命令了，复制运行命令。

在这里插入图片描述

在终端运行刚才复制的模型运行命令，就开始安装CodeGeeX4-ALL-9B模型了。

在这里插入图片描述

看到终端命令行提示的“Send a message”就说明CodeGeeX4-ALL-9B已经成功安装在你的电脑上，你可以直接在这里输入问题和CodeGeeX4-ALL-9B进行对话。

在这里插入图片描述

接下来，按照下面的步骤，就可以把CodeGeeX4-ALL-9B接入到您的CodeGeeX插件本地模式中。1. 在VSCode、JetBrains全家桶的IDE插件市场中，搜索「CodeGeeX」，点击下载安装插件。2. 配置跨域所需的环境变量在终端输入

export OLLAMA_ORIGINS="*"

或

launchctl setenv OLLAMA_ORIGINS "*"

来设置环境变量，Windows环境可以在环境变量中手动配置。

设置后需要重启 Ollama 服务和 IDE(VSCode 或其他环境) 使环境变量生效。
启动CodeGeeX4，在终端输入

ollama serve

打开一个新的终端，在终端输入

ollama run codegeex4

5. 配置接口地址在CodeGeeX插件的本地模式设置中，输入模型地址：

http://localhost:11434/v1/chat/completions

打开模型配置的高级模式，在模型名称栏填写

codegeex4

现在就可以享受 CodeGeeX4在本地提供的编码体验！

在这里插入图片描述

希望了解更多模型部署的教程，点击下方「阅读原文」，前往CodeGeeX4在Github上的教程与Demo查看，如果您喜欢我们的项目并认为它对您有帮助，请在GitHub上为CodeGeeX4点一个⭐️ Star！

在这里插入图片描述

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述