![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大模型
大模型的Fine Tuning 、本地部署等相关内容
程序猿的探索之路
走好人生中的每一步路!
展开
-
【笔记】Hugging Face上面的模型想直接使用的办法: .safetensors格式 可以直接转化为.gguf格式供本地(ollama)加载使用
Link:https://huggingface.co/spaces/ggml-org/gguf-my-repo原文:原创 2024-05-30 17:41:34 · 523 阅读 · 0 评论 -
【笔记】Chinese-LLaMA-Alpaca-3 : 中文羊驼大模型三期项目 实践记录:量化后可以使用cpu进行快速推理,如直接加载 .safetensors,占内存多且推理速度过慢,无法有效使用
Link: GitHub - ymcui/Chinese-LLaMA-Alpaca-3: 中文羊驼大模型三期项目 (Chinese Llama-3 LLMs) developed from Meta Llama 3最重要的两张图:Figure1:模型类型说明:Figure2:本项目中的相关模型主要支持以下量化、推理和部署方式,具体内容请参考对应教程。我使用的是 text-generation-webui 进行推理,如图所示:点开链接进入到网页text-generation-webui,后台cmd同时也原创 2024-05-29 18:27:38 · 142 阅读 · 0 评论 -
【笔记】Windows 中 一键部署本地私人专属知识库:MaxKB + Docker + MaxKB docker + Ollama
Docker 和容器不一样,只是容器的一种实现,是一个容器化的解决方案和平台。而容器是一种虚拟化技术,和虚拟机类似,也是一个独立的环境。可以在这个环境中运行应用程序,和虚拟机不同的是,它并不需要在容器中运行一个完整的操作系统,而是使用宿主机的操作系统,所以启动速度非常快。镜像也像一道食谱,容器就是根据这个食谱做出来的菜(可以一个或多个),但这些菜都是根据同一道食谱做出来的。实际上,我们在终端使用的各种命令,都是发送给Docker Daemon的,经过Docker Daemon处理后,返回给客户端。原创 2024-05-29 18:26:22 · 376 阅读 · 0 评论 -
【笔记】windows 中 Colab线上微调大模型:线上微调需要用到的工具:Hugging Face / Colab / Google Drive,在本地使用线上微调后的模型:GPT4ALL
【代码】【笔记】windows 中 Colab线上微调大模型:线上微调需要用到的工具:Hugging Face / Colab / Google Drive,在本地使用线上微调后的模型:GPT4ALL。原创 2024-05-29 18:06:54 · 193 阅读 · 0 评论 -
【笔记】Ubuntu中Llama3中文微调,并加载微调后的模型:中文微调数据集介绍、如何使用Ollama 和 LM studio本地加载Fine Tuning后的模型,ollama的安装使用和卸载
【代码】【笔记】Llama3中文微调,并加载微调后的模型:中文Fine Tuning数据集介绍、如何使用Ollama 和 LM studio本地加载Fine Tuning后的模型。原创 2024-05-28 22:48:41 · 487 阅读 · 0 评论 -
本地Fine Tuning Llama3大模型
原创 2024-05-22 16:54:30 · 119 阅读 · 0 评论