零刻SER8 AMD 8845Hs Ryzen AI 本地部署大语言模型教程!

零刻SER8 8845HS,配备了一个内置的 NPU(神经网络处理单元),可以通过LM Studio语言大模型来部署自己的 GPT 模型 AI 聊天机器人,AI 助手已迅速成为提高生产力、效率,甚至是头脑风暴的关键资源。在本地机器上运行 AI 聊天机器人不仅不需要互联网连接,而且你的对话也保存在本地机器上。
AMD 8845Hs Ryzen AI
  • AI 引擎性能:最高可达 16 TOPS(每秒万亿次操作)

  • 总处理器性能:最高可达 38 TOPS

零刻SER8 IPU默认状态为开启状态,无需再进行二次开启操作,可在设备管理器中查看相关的设备状态。

在这里插入图片描述

操作步骤:

1.下载LM Studio大模型部署软件,点击链接进入官网,https://lmstudio.ai/,下载Windows版本

在这里插入图片描述

2.下载完成后,双击进行启动进入软件界面

在这里插入图片描述

3.AMD官方这里提供了两个大语言模型,Mistral 7b(TheBloke/OpenHermes-2.5-Mistral-7B-GGUF)和LLAMA v2 7b(TheBloke/Llama-2-7B-Chat-GGUF),这里的7b指的是70亿参数训练出来的大模型,我们选择LLAMA v2 7b语言大模型进行下载,点击左侧搜索按钮(如果搜索提示网络报错,可查看LM Studio语言大模型部署软件搜索语言模型报错“Error searching for models ‘Network error’”解决办法

在这里插入图片描述

4.在搜索栏中复制并粘贴以下搜索词:“TheBloke/Llama-2-7B-Chat-GGUF”,在右侧选择’Q4 K M’模型文件点击’Download’进行下载

在这里插入图片描述

5.耐心等待下载完成

在这里插入图片描述

6.下载完成后,点击左侧的聊天按钮,切换到聊天模式

在这里插入图片描述

7.点击顶部,切换刚刚下载的语言大模型包

在这里插入图片描述

8.等待模型加载完成就可以使用了,LLAMA v2 7b模型只支持英文,如果需要中文可以使用其他的大语言模型。

在这里插入图片描述

9.推荐中文语言大模型"TheBloke/openHermes-2.5-Mistral-7B-GGUF"搜索后,可在右侧选择’Q4 K M’模型文件点击’Download’进行下载

在这里插入图片描述

10.下载完成后,点击聊天按钮,在顶部选择大语言模型进行切换

在这里插入图片描述

在这里插入图片描述

更多其它大语言模型:

“PrunaAI/Llama3-8B-Chinese-Chat-GGUF-smashed” 来源 https://zhuanlan.zhihu.com/p/696250131

“zhouzr/Llama3-8B-Chinese-Chat-GGUF”
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

李佑辰

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值