Llama3模型参数转hf格式

Meta AI官网下载下来的Llama3参数无法直接被transformers库直接使用，之前transformers库提供的转Llama2的脚本好像也不能直接使用，报错 ImportError: cannot import name 'TikTokenConverter' from 'transformers.convert_slow_tokenizer。
解决方案如下：
通过zip下载目前transformers库上的source code，进入仓库代码文件夹然后执行以下命令

pip install -e .
或者
pip install --upgrade transformers

之后可用以下命令进行参数格式转换

可以通过以下命令在你的服务器上找到该转换脚本的位置

find / -name 'convert_llama_weights_to_hf.py' 2>/dev/null

python src/transformers/models/llama/convert_llama_weights_to_hf.py --input_dir ../Meta-Llama-3-8B-Instruct --model_size 8B --output_dir ../Meta-Llama-3-8B-Instruct-hf --llama_version 3

注释：convert_llama_weights_to_hf.py脚本在transformers库中，可以通过web search找到