本文介绍了如何在低配置的NVIDIAJetson设备上部署微软的Phi-3小语言模型，并通过Ollama和OpenWebUI实现多人交互的AIChatBot。文章详细描述了安装过程和使用体验，展示了在资源受限情况下利用本地技术进行大模型应用的可能性。
本地部署“小语言模型”的趋势
大部分人在面对大语言模型的最大困扰，就是缺乏足够的计算资源来使用这些功能强大的AI应用。
微软AI研究院于2024年4月发表《Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone》的论文，同时开源一款十分优异的Phi3小语言模型（SLM），表示能在手机上执行。
于是我们便尝试配置较低的 NVIDIA Jetson 边缘智能设备上，透过 Ollama 模型管理器与Open webui 互动式界面，在只有 6核/1.4GHz主频的 ARM处理器与8G显存的设备上，成功地运行起 Phi3:8b 模型，并且搭建起多人交互使用的智能对话机器人（AI ChatBot），得到下面视频的效果。
jetson_phi3_chatbot
视频内的主要操作如下：
- 让对话机器人做自我介绍
最低0.47元/天 解锁文章
扫一扫
1331
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
