背景
环境
multi query group nu : 2
nu attention heads : 32
num layers : 28
original rope : true
pad token idpadded vocab_size : 65024
post layer norm : true
pre_seg len : nul1
prefix projection : false
quantization bit : 0
rmsnorm : true
seq length": 32768
tie word embeddings : false
torch dtype :"float16“4.41.2”transformers version use_ cachetrue
vocab_size:65024
用户用github上工程训练推理模型服务,代码编译运行异常 ,需要帮忙跑通代码,并安装合适版本;
为用户整理好合适素材,完美解决问题;
最终耗时30分钟调试完成,首页有更多案例欢迎访问,有需求欢迎私信哦!~