大家好,我是爱编程的喵喵。双985硕士毕业,现担任全栈工程师一职,热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。
本文主要介绍了如何检验下载的大模型checkpoint文件是否正确的解决方案,希望能对学习大模型的同学们有所帮助。
1. 问题描述
最近有一批新入门学习大语言模型的同学们,其中陆续有几个同学遇到了相同的问题,即下载的大模型checkpoint文件是不完整的,所以在加载时出现了报错。比如下图中出现了Unable to load weights from pytorch checkpoint file for …的错误提示,其他错误也可能是由该原因引起的。
在经过了亲身的实践后,终于找到了解决问题的方案,最终将逐步的操作过程总结如下。希望能对遇到同样bug的同学有所帮助。
2. 解决方案
考虑到大部分朋友使用的是Linux和Windows系统,