# 玩转树莓派4B-部署LLM大模型-1

玩转树莓派4B-部署LLM大模型-1

实验环境

• Raspberry Pi4 8G
• Raspiois_arm64
• llama.cpp
• qwen2-0_5b-instruct-q5_k_m.gguf
• modelscope

前言

​ 这几年人工智能很火，事实上，以1956年达特茅斯会议为节点开始，到现在人工智能经历了三次主要的浪潮，现在正是第三次浪潮。杰弗里·埃弗里斯特·辛顿（Geoffrey Everest Hinton）在2006年发表的一篇论文《A fast learning algorithm for deep belief nets》，标志着机器学习里的一个重要分支深度学习的出现，深度学习简单来说就是借鉴人脑的神经网络，搭建一个神经网络模型，具有输入层、隐藏层和一个输出层，让模型去学习人类输入进去的数据，得到经验。

​ 而真正引爆第三次人工智能浪潮的是2012年由辛顿（Hinton）和他的学生伊利亚・苏茨克沃（Ilya Sutskever）以及亚历克斯・克里切夫斯基（Alex Krizhevsky）设计出的AlexNet深度神经网络，第一次使用了nvidia的显卡进行矩阵的并行计算，表现出了GPU在深度神经网络训练上表现出的惊人能力。由此大家似乎看到了我们一直想要实现的可以自主学习的人工智能有了实现的可能。时至今日，在人工智能（Artifici