使用GPT学术优化软件访问本地llama3-8b大模型

(硬件环境:笔记本电脑,intel处理器i9-13900HX、64G内存、NVIDIA RTX4080(12G)、操作系统windows11家庭版)

一、下载中科院GPT 学术优化 (GPT Academic)

1.在浏览器输入:https://github.com/binary-husky/gpt_academic。在网页的右方找到并点击“Releases”。

2.选择适合自己的版本,比如Version 3.75&Win/Mac一键安装包,点击下载“oneKeyinstallerForWindowsndMacOS.zip”

3.将文件解压到自己指定的目录,比如d:\OneKeyInstallerForWindowsAndMacOS,注意,目录地址可以变化,最底层目录名称(OneKeyInstallerForWindowsAndMacOS)不要改。

二、修改配置

在config.py同路径下创建一个名为config_private.py的新配置文件,修改gpt_academic/config_private.py文件:

LLM_MODEL = "ollama-llama3-8b-chinese"

AVAIL_LLM_MODELS = ["ollama-llama3-8b-chinese"]

三、运行本地大模型

1.确保已启动ollama。

2.找到d:\OneKeyInstallerForWindowsAndMacOS目录,双击“Windows双击这里运行(推荐).bat”。出现以下窗口。

3.根据以上提示,选择依赖方式。

4.准备完毕,按回车后,在浏览器自动出现以下画面,可以开始使用。

5.关闭以下终端窗口即可结束本程序, 下次运行时, 仍然是双击“Windows双击这里运行.bat”。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值