大模型
三千院本院
奥利给
展开
-
BaiChuan13B-GPTQ量化详解
1、按照网上搜索的一些代码,如使用auto_gptq原生库进行训练后量化,可能会正常量化,但是在线推理时会出现如找不到bin文件或者tf文件,即模型权重文件,所以和网上大部分代码不同的地方在于,需要提前保存对应模型的权重文件,如果是BaiChuan13B,那么在进行模型量化前,对其进行保存。按照上述步骤,此时模型量化文件保存成功,接下来就是模型在线推理。原创 2024-04-18 10:16:06 · 1070 阅读 · 0 评论 -
Qwen-13B (generate) 推理代码
【代码】Qwen-13B推理代码。原创 2024-04-15 17:04:53 · 293 阅读 · 0 评论 -
Runtime Error while Saving a PyTorch bin Model: “File /** Cannot Be Opened“
解决方法:需要保存的文件名字为"pytorch_model.bin"原创 2024-02-20 09:49:53 · 876 阅读 · 0 评论 -
ValueError: Tokenizer class BaichuanTokenizer does not exist or is not currently imported已解决
报错:ValueError: Tokenizer class BaichuanTokenizer does not exist or is not currently imported。环境:使用 AutoTokenizer 加载量化后的百川模型。添加 trust_remote_code=True。可以在量化时对 Tokenizer 进行保存。原创 2024-01-30 16:04:07 · 830 阅读 · 0 评论 -
运行 Baichuan2-13B-Chat 模型推理代码
【代码】运行 baichuan2-13B-chat 模型。原创 2024-01-30 16:43:26 · 482 阅读 · 0 评论