手把手教你：LLama2原始权重转HF模型

LLama2是meta最新开源的语言大模型，训练数据集2万亿token，上下文长度由llama的2048扩展到4096，可以理解和生成更长的文本，包括7B、13B和70B三个模型，在各种基准集的测试上表现突出，该模型可用于研究和商业用途。

LLama2模型权重和tokenizer下载需要申请访问。

申请链接：https://ai.meta.com/resources/models-and-libraries/llama-downloads/

由于下载的原始LLama2模型权重文件不能直接调用huggingface的transformers库进行使用，如果要使用huggingface transformer训练LLaMA2，需要使用额外的转换脚本。

转换脚本：https://github.com/huggingface/transformers/blob/main/src/transformers/models/llama/convert_llama_weights_to_hf.py

现在huggingface上已发布了llama的hf版本，可以直接使用。

现在介绍LLama2模型的原始权重获取和转换脚本。

LLama2模型原始权重获取

在MetaAI申请通过后将会在邮件中提及到PRESIGNED_URL，运行download.sh，按照提示输入即可。

set