微调大模型LLama

安装pytorch：

注意：python版本和CUDA版本都需要一一对应。

去到官网：Start Locally | PyTorch

如图所示：根据点选会自动的生成安装命令。在我们的服务器上面执行生成的命令，如果是之前的版本有找历史版本查询。前提条件是需要确定CUDA的版本，可以通过命令：nvidia-smi命令查询，如下图：

 我的CUDA版本较老为11.6.根究旧的安装命令为：

# CUDA 11.6
conda install pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.6 -c pytorch -c nvidia

安装成功之后执行命令检查效果：

代表安装成功。

使用unsloth微调模型：

github：unslothai/unsloth: Finetune Llama 3

两种方案：第一种使用使用google colab。

第二种在自己的电脑上面安装jupyter进行。

目前我遇到的问题：

使用第一种的方案的时候在转换gguf格式的时候报硬盘空间不足的错误。免费的使用完了。

使用第二种方案的时候要求pythorch需要2.1版本，CUDA的版本较高需要11.8以上。目前手里的机器还没有这么高的版本。

未完待续。。。。。。