- 博客(3)
- 收藏
- 关注
RSS订阅原创 llama3.2-1B 在香橙派 5 plus 使用ollama部署
从结果来看，速度也是相当不错，下载的模型应该是量化的版本，我不确定是多少位的量化，模型的大小是1.3GB，原始模型的大小是2.3GB。前段时间使用香橙派部署了llama3.2-1B的FP16的原始模型，又使用树莓派5部署了ollama去调用llama3.2-1B，发现使用ollama调用的速度很快啊，为了做一个对比测试，我在香橙派也安装了ollama去调用llama3.2-1B。步骤跟树莓派部署一样。
2024-10-17 11:06:05
860
原创 Llama 3.2 1B 大型语言模型（LLMs）在Raspberry Pi 5（树莓派 5 ） --Linux Ubuntu 上安装并运行
在本大型语言模型（LLM）和机器学习教程中，我们解释了如何在Linux Ubuntu上的Raspberry Pi 5上运行Llama 3.2 1B LLMs。我们还制作了一个关于如何在Raspberry Pi 4上运行Llama 3.2模型的教程。Raspberry Pi 5比Raspberry Pi 4快得多，因此我们建议大家使用Raspberry Pi 5。首先，我们将安装Ollama，然后我们将安装Llama 3.2模型。
2024-10-16 14:36:03
2240
原创 LLaMA 3.2 1B模型部署到RK3588香橙派5plus开发板上的完整指南
在9月25日，Meta发布了LLaMA 3.2模型，其中包括了专为边缘设备设计的1B和3B小参数模型。我选择的是RK3588芯片，使用的是香橙派5plus开发板，配备了16G的运行内存，处理速度非常快。这里需要注意的是，我最初下载错了模型，下载了base版本，导致模型无法正确回复问题。在测试时，我遇到了注意力掩码未设置的问题，这会影响模型对输入内容的理解。此外，我还发现了束搜索的问题，当设置参数为1时，启用束搜索是无效的。未来，我还计划进行8bit量化，并可能会在Bilibili上分享我的量化模型。
2024-10-12 18:37:33
3523
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人