本地部署llama3

本文介绍了如何下载并安装Ollama软件,包括选择Windows版本下载、安装步骤以及在终端中验证安装并使用llama3模型的过程。特别提到了8b版本对显存的要求较低。
摘要由CSDN通过智能技术生成

一、下载ollama

下载地址:Ollama

点击Download

​​​​​​https://ollama.com/选择Windows并点击下载

打开下载好的OllamaSetup执行文件,显示如下页面,并点击Install,正常完成安装操作

Win+R输入cmd打开终端,输入ollama,查看是否安装成功,如出现如下界面则表示ollama安装成功

二、安装并使用llama3模型

输入命令

ollama run llama3:8b或
ollama run llama3:70b

注:8b版本对于显存要求较低,我下载的为8b版本

执行命令后耐心等待模型下载

下载完成后,执行ollama run llama3:8b,进入终端对话界面。

至此模型下载完成并能在终端使用。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值