部署一个本地的ChatGPT(Ollama)

本文介绍了如何下载并安装Ollama,包括设置开机运行,以及如何在命令行中选择和运行不同内存需求的模型。还指导了如何配置开源的ChatOllama客户端,实现更便捷的聊天体验。
摘要由CSDN通过智能技术生成

一 下载Ollama

Ollama下载地址:https://ollama.com/download

下载完后

 

二 安装运行

双击下载好的OllamaSetup.exe开发 安装Ollama:

 

安装完成后,多了一个Ollama的菜单如下图 :

Ollama安装好默认是配置开机运行,如果没有运行可以在菜单上点击一下即可,正常情况要查看是否运行状态看一下任务栏这个图标即可。

在命令行运行

ollama

首次运行需要选择下载的模型 

ollama run gemma:7b

指定使用的模型gemma:7b,这里可以选择其它模型,第一次调用当本地不存在时会自动下载该模型,运行成功可直接在命令行模型上发问如下图:

模型

可以根据电脑配置和自己的爱好选择模型:

 注意:运行7B机型至少应该有8gb可用内存,运行13B机型至少应该有16gb可用内存,运行33B机型至少应该有32gb可用内存。

三 配置Chat Ollama 客户端

配置Chat Ollama 客户端,加一个壳用来调用的。

在github找到一个开源的web客户端 https://github.com/ivanfioravanti/chatbot-ollama

开发环境运行: 

 

配置好的Chat Ollama 客户端,运行效果,界面不够美的可以直接修改页面代码。

这里我们只需配置本地的服务配置即可,如下图: 

选好模型开始聊天:

 可以开始聊天了,如下图:

  帮助写代码如下图:

 这样跑起来方便很多

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

qyhua

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值