大模型探索
文章平均质量分 59
瑾怀轩
三人行必有我师,欢迎交朋友。
个人博客:chenkequan.cn
展开
-
LLama Factory 安装部署实操记录(二)
使用`web_demo.py`,部署网页端示例,报错`RuntimeError: probability tensor contains either `inf`, `nan` or element < 0` · Issue #1642 · hiyouga/LLaMA-Factory · GitHub。(2)另一种说法是,要更新代码,当前测试的是0.4.0版本的源码,未更新,大家有兴趣可以尝试一下,放在评论区。(1)一种说法是,原因是双卡推理,当前的确也出现该问题,A100上正常,双4090有问题。原创 2023-12-20 15:30:00 · 5878 阅读 · 0 评论 -
LLama Factory 实操记录(一)
1. api端口参数说明: src/api。原创 2023-12-20 13:58:27 · 5782 阅读 · 4 评论