Lamma2 踩坑记录
这里在tokenizer添加了一个pad_token,相比于原始的len(tokenizer)会➕1,并且将model的token_embeddings的大小增加1。我们在下载Lamma2模型的权重时,填写申请表格一出现 'China' 网页就没了,是不是不让中国用户使用lamma2了啊?这里使用的LlamaForCausalLM时Transformers写的一个用于文本生成的模型。这里的convert_llama_weights_to_hf.py脚本需要在。,在其基础上修改模型结构即可,常用的模型还是。
















