零刻SER8 8845HS,配备了一个内置的 NPU(神经网络处理单元),可以通过LM Studio语言大模型来部署自己的 GPT 模型 AI 聊天机器人,AI 助手已迅速成为提高生产力、效率,甚至是头脑风暴的关键资源。在本地机器上运行 AI 聊天机器人不仅不需要互联网连接,而且你的对话也保存在本地机器上。
AMD 8845Hs Ryzen AI
-
AI 引擎性能:最高可达 16 TOPS(每秒万亿次操作)
-
总处理器性能:最高可达 38 TOPS
零刻SER8 IPU默认状态为开启状态,无需再进行二次开启操作,可在设备管理器中查看相关的设备状态。
操作步骤:
1.下载LM Studio大模型部署软件,点击链接进入官网,https://lmstudio.ai/,下载Windows版本
2.下载完成后,双击进行启动进入软件界面
3.AMD官方这里提供了两个大语言模型,Mistral 7b(TheBloke/OpenHermes-2.5-Mistral-7B-GGUF)和LLAMA v2 7b(TheBloke/Llama-2-7B-Chat-GGUF),这里的7b指的是70亿参数训练出来的大模型,我们选择LLAMA v2 7b语言大模型进行下载,点击左侧搜索按钮(如果搜索提示网络报错,可查看LM Studio语言大模型部署软件搜索语言模型报错“Error searching for models ‘Network error’”解决办法)
4.在搜索栏中复制并粘贴以下搜索词:“TheBloke/Llama-2-7B-Chat-GGUF”,在右侧选择’Q4 K M’模型文件点击’Download’进行下载
5.耐心等待下载完成
6.下载完成后,点击左侧的聊天按钮,切换到聊天模式
7.点击顶部,切换刚刚下载的语言大模型包
8.等待模型加载完成就可以使用了,LLAMA v2 7b模型只支持英文,如果需要中文可以使用其他的大语言模型。
9.推荐中文语言大模型"TheBloke/openHermes-2.5-Mistral-7B-GGUF"搜索后,可在右侧选择’Q4 K M’模型文件点击’Download’进行下载
10.下载完成后,点击聊天按钮,在顶部选择大语言模型进行切换
更多其它大语言模型:
“PrunaAI/Llama3-8B-Chinese-Chat-GGUF-smashed” 来源 https://zhuanlan.zhihu.com/p/696250131