准备工作
1. 环境设置
首先确保你的系统中已经安装了Hugging Face的transformers
库。如果还未安装,可以通过以下命令安装:
pip install transformers
2. 获取转换脚本
转换LLama模型需要使用transformers
库中的convert_llama_weights_to_hf.py
脚本。你可以使用以下命令在你的系统中找到这个脚本的位置:
find / -name 'convert_llama_weights_to_hf.py' 2>/dev/null
该脚本的完整路径稍后将用于执行模型转换。
模型下载与准备
1. 克隆LLama项目
从GitHub克隆LLama项目到本地,这可以通过以下命令完成:
git clone https://github.com/meta-llama/llama
2. 下载模型权重
进入克隆下来的LLama项目目录,执行download.sh
脚本来下载模型权重。我们全篇文章都以7B模型为例,可以这样操作:
cd llama
./download.sh
它将要求输入你申请到的下载链接和要下载的模型(7B,13B,70B,7B-chat,13B-chat,70B-chat)
,当然我们输入7B。
下载完成后,将下载下来的模型文件夹重命名为7B。
转换模型权重
1. 设置输出目录
创建一个新的目录用于存放转换后的Hugging Face模型权重:
mkdir path_to_your_hf_model_output
2. 执行权重转换
最后,执行以下命令来转换模型权重:
python path_to_your_convert_llama_weights_to_hf.py \
--input_dir path_to_your_llama \
--model_size 7B \
--output_dir path_to_your_hf_model_output
请确保替换命令中的path_to_your_convert_llama_weights_to_hf.py
、path_to_your_llama
和path_to_your_hf_model_output
为实际的路径。
其中path_to_your_convert_llama_weights_to_hf.py
为你在之前通过命令找到的convert_llama_weights_to_hf.py
脚本完整路径。注意path_to_your_llama
为整个LLama项目的路径,而不是刚刚下载到项目文件夹中的模型文件夹路径。
对于--model_size
参数,根据您的实践下载模型替换即可。
完成
执行上述命令后,转换的模型权重将存储在指定的输出目录中。