今天在开源benchmark上想要评估大模型的能力。
然后遇到了程序卡住的问题。
源代码使用了accelerate库来并行加速,但是实验室的服务器由于其他人也在用,留给我的也只有一张卡,所以只能单卡运行,但遇到了卡住问题。
经过调试,发现最后程序卡在了accelerator.prepare(model)这一步中。
一开始以为是显存不够导致它一直卡在这,但检查后发现显存足够容纳一个15G的大模型,后来在想难道是它的多卡并行与我的单卡运行冲突了,所以导致卡住了?
然后网上查了查,很少有资料显示它的单卡运行情况。
然后找到这一篇文章:https://blog.csdn.net/iin729/article/details/124955224
说是单卡运行的话直接用python命令就行了,不用accelerate启动。
试了之后果然可以了。