从0开始搭建Alpaca

前言

接上篇，由于公司业务调整，老板让所有的开发开始学python，并一人分配了一个语言模型，要求进行自己尝试搭建部署，而分到我的是Alpaca。
于是Java还没写明白，python才刚刚安装好的我，又要开始从无到有搭建大语言模型了，(这个B班真是一天都不想上了)奶思！

了解Alpaca

Alpaca建立在 Meta 的 LLaMA 之上，其唯一目标是使 LLM 更便宜。基于斯坦福大学研究中心所做的先前研究和基准。羊驼模型可以低至 600 美元进行再训练，考虑到由此带来的好处，这很便宜。

它们也是另外两个羊驼变种模型Alpaca.cpp和Alpaca-LoRA。使用 cpp 变体，您可以使用具有 4GB 权重的 M2 Macbook Air 在笔记本电脑上本地运行类似 Fast ChatGPT 的模型，当今大多数笔记本电脑都应该能够处理。CPP 变体结合了 Facebook 的 LLaMA、Stanford Alpaca、alpaca-Lora 以及相应的权重。您可以在此处找到有关如何进行微调的数据。

资源：
博客：斯坦福大学CRFM
GitHub：tatsu-lab/stanford_alpaca
Alpaca体验地址（官方演示已经丢失，这是Alpaca模型的再现）

附录

以下是本文借鉴参考的原文章，感谢各位大佬的文章分享：
开箱即用的ChatGPT替代模型，还可训练自己数据
从0到1复现斯坦福羊驼（Stanford Alpaca 7B）