![](https://img-blog.csdnimg.cn/20190918135101160.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
LLM
文章平均质量分 93
大型语言模型(LLM)是基于大量数据进行预训练的超大型深度学习模型。
CodeDevMaster
积跬步,至千里。
展开
-
使用PEFT库进行ChatGLM3-6B模型的QLORA高效微调
QLoRA是LoRA的扩展版本,在微调过程中引入了量化技术,以进一步提高参数效率。QLoRA利用LoRA的原理,并引入了4位NormalFloat(NF4)量化和双重量化技术,进一步减少了存储和计算资源的使用。原创 2024-07-10 17:13:41 · 1167 阅读 · 0 评论 -
使用PEFT库进行ChatGLM3-6B模型的LORA高效微调
LORA(Low-Rank Adaptation)是一种高效的模型微调技术,它可以通过在预训练模型上添加额外的低秩权重矩阵来微调模型,从而仅需更新很少的参数即可获得良好的微调性能。这相比于全量微调大幅减少了训练时间和计算资源的消耗。原创 2024-06-26 20:18:28 · 1312 阅读 · 0 评论 -
Ollama:一个在本地部署、运行大型语言模型的工具
Ollama是一个开源项目,它专为在本地机器上能便捷部署、以及运行大型语言模型(LLM)而设计的工具。原创 2024-05-25 19:51:09 · 2818 阅读 · 2 评论 -
Langchain-Chatchat大语言模型本地知识库的踩坑、部署、使用
Langchain-Chatchat是一个基于ChatGLM大语言模型与Langchain应用框架实现的大语言模型本地知识库应用项目。原创 2023-12-08 10:45:45 · 6957 阅读 · 15 评论 -
使用Unsloth微调Llama3-Chinese-8B-Instruct中文开源大模型
Unsloth是一个开源的大模型训练加速项目,可以显著提升大模型的训练速度,减少显存占用。本文将使用Unsloth微调Llama3-Chinese-8B-Instruct中文开源大模型。原创 2024-05-24 09:16:01 · 3346 阅读 · 9 评论 -
基于OneAPI+ChatGLM3-6B+FastGPT搭建LLM大语言模型知识库问答系统
FastGPT 是一个基于 LLM 大语言模型的知识库问答系统,提供开箱即用的数据处理、模型调用等能力。同时可以通过 Flow 可视化进行工作流编排,从而实现复杂的问答场景!原创 2024-03-24 15:40:41 · 2949 阅读 · 4 评论 -
使用llama.cpp实现LLM大模型的格式转换、量化、推理、部署
llama.cpp的主要目标是能够在各种硬件上实现LLM推理,只需最少的设置,并提供最先进的性能。提供1.5位、2位、3位、4位、5位、6位和8位整数量化,以加快推理速度并减少内存使用。原创 2024-05-24 15:22:07 · 3565 阅读 · 0 评论 -
text-generation-webui搭建大模型运行环境与踩坑记录
text-generation-webui是一个基于Gradio的LLM Web UI开源项目,可以利用其快速搭建部署各种大模型环境。原创 2024-02-05 13:51:12 · 4675 阅读 · 2 评论 -
Meta开源大模型LLaMA2的部署使用
Llama2开源且免费用于研究和商业用途,接受2万亿个标记的训练,上下文长度是Llama1的两倍。Llama2包含了70亿、130亿和700亿参数的模型。原创 2024-02-05 13:51:00 · 1655 阅读 · 0 评论