![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大模型
文章平均质量分 91
FrankIiot
这个作者很懒,什么都没留下…
展开
-
用LoRA进行高效微调
大型语言模型的低秩自适应 (LoRA)用于解决微调大型语言模型 (LLM) 的挑战。GPT 和 Llama 等模型拥有数十亿个参数,通常对于特定任务或领域进行微调的成本过高。LoRA 保留了预训练的模型权重,并在每个模型块中加入了可训练层。这显著减少了需要微调的参数数量,并大大降低了 GPU 内存需求。LoRA 的主要优势在于,它大幅减少了可训练参数的数量——有时最多可减少 10,000 倍——从而大大降低了 GPU 资源需求。原创 2024-06-25 18:40:26 · 723 阅读 · 0 评论 -
Ollama+qwen2实现开源大模型本地化部署
本文将介绍如何使用ollama+qwen2实现对开源大模型的本地化部署,让每个有技术能力的企业都可以“套壳”大模型,在各自的专业领域内“遥遥领先“。在本案例中我将使用两个开源的软件:ollama:是一个轻量级可扩展的框架,它可以轻易地帮你管理本地的众多开源大模型,并支持众多的开源大模型,包括llama 3、qwen2、gemma、codegemma、Mistral等,并允许用户自定义和创建自己的模型。原创 2024-06-22 12:42:54 · 1193 阅读 · 0 评论