无GPU搭建开源大模型--LLAMA2

在Grok之前，脸书就开源了LLAMA2的大模型，从第三方数据来看Grok各方面都碾压LLAMA2

但如果是初学AI，llama无疑还是一个很好的突破口，在Grok没有到来之前，就让我们先向LLAMA2开刀。
本次介绍如何在无需GPU参与的情况下，在本地部署llama2，方法来自国外大神：Georgi Gerganov、让我们向大神致敬，向开源致敬，开源万岁。

我们可以通过使用Github上的llama.cpp模块来使用LLAMA。
llama.cpp除了LLAMA2外还支持Alpaca、chiness-llama、WizardLM等模型，而且支持Python、Go、Node.js等语言的接口。
本文使用的还是LLAMA2的模型，通过Python对其进行调用。

首先我们要提前下载一些必须的软件，用于我们搭建本地大模型：
1.visual studio，当前版本为2022；下载链接：https://visualstudio.microsoft.com/zh-hans/downloads/；电脑空间多的有多少勾多少就行，空间不够，可以自行评估，记得一定要勾选C++的桌面开发组件。
2.anaconda，用于搭建环境和安装llama_cpp的包；下载链接：https://www.anaconda.com/download/；直接无脑下一步。
3.llama2轻量化模型，阉割版于LLAMA2 70B不是一个概念，玩玩就好；下载链接࿱