大模型
文章平均质量分 51
木研研习社
这个作者很懒,什么都没留下…
展开
-
llama_factory Qlora微调异常 No package metadata was found for The ‘autoawq‘
后记:大模型微调lora与Qlora 区别还是挺大的,Qlora 微调起来相对麻烦一些对应处理依赖也会更多一些!:QLoRA 通常会比 LoRA 占用更少的内存,因为它可以利用量化带来的内存节省效果。安装 autoawq 去Git上看大部分都支持CUDA 12.1 选择一个版本安装即可。:LoRA 可以应用于任何未量化的模型,而 QLoRA 则专门用于已经量化的模型。:QLoRA 的实现可能比 LoRA 更加复杂,因为它需要处理量化模型特有的问题。(小编尝试过版本降级,但总有其他依赖报错,进行放弃,升级)原创 2024-09-03 16:28:26 · 461 阅读 · 0 评论 -
【如何在本地安装Llama 3,坐好30秒!稳的很!!】
安装大语言模型,30秒带你飞!原创 2024-05-08 13:15:23 · 356 阅读 · 1 评论