《开源大模型食用指南》基于Linux环境快速部署开源大模型，更适合中国宝宝的部署教程

最新推荐文章于 2024-10-06 14:48:52 发布
最新推荐文章于 2024-10-06 14:48:52 发布
阅读量678 收藏 12
点赞数 18
文章标签： 开源 llama 人工智能 智能手机 chatgpt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ytt0523_com/article/details/140854048
版权

本项目是一个围绕开源大模型、针对国内初学者、基于 AutoDL 平台的中国宝宝专属大模型教程，针对各类开源大模型提供包括环境配置、本地部署、高效微调等技能在内的全流程指导，简化开源大模型的部署、使用和应用流程，让更多的普通学生、研究者更好地使用开源大模型，帮助开源、自由的大模型更快融入到普通学习者的生活中。

本项目的主要内容包括：

  1. 基于 Linux 平台的开源 LLM 环境配置指南，针对不同模型要求提供不同的详细环境配置步骤；

  2. 针对国内外主流开源 LLM 的部署使用教程，包括 LLaMA、ChatGLM、InternLM 等；

  3. 开源 LLM 的部署应用指导，包括命令行调用、在线 Demo 部署、LangChain 框架集成等；

  4. 开源 LLM 的全量微调、高效微调方法，包括分布式全量微调、LoRA、ptuning 等。

什么是大模型？

大模型（LLM）狭义上指基于深度学习算法进行训练的自然语言处理（NLP）模型，主要应用于自然语言理解和生成等领域，广义上还包括机器视觉（CV）大模型、多模态大模型和科学计算大模型等。

百模大战正值火热，开源 LLM 层出不穷。如今国内外已经涌现了众多优秀开源 LLM，国外如 LLaMA、Alpaca，国内如 ChatGLM、BaiChuan、InternLM（书生·浦语）等。开源 LLM 支持用户本地部署、私域微调，每一个人都可以在开源 LLM 的基础上打造专属于自己的独特大模型。

然而，当前普通学生和用户想要使用这些大模型，需要具备一定的技术能力，才能完成模型的部署和使用。对于层出不穷又各有特色的开源 LLM，想要快速掌握一个开源 LLM 的应用方法，是一项比较有挑战的任务。

本项目旨在首先基于核心贡献者的经验，实现国内外主流开源 LLM 的部署、使用与微调教程；在实现主流 LLM 的相关部分之后，我们希望充分聚集共创者，一起丰富这个开源 LLM 的世界，打造更多、更全面特色 LLM 的教程。星火点点，汇聚成海。

项目受众

本项目适合以下学习者：

  • 想要使用或体验 LLM，但无条件获得或使用相关 API；

  • 希望长期、低成本、大量应用 LLM；

  • 对开源 LLM 感兴趣，想要亲自上手开源 LLM；

  • NLP 在学，希望进一步学习 LLM；

  • 希望结合开源 LLM，打造领域特色的私域 LLM；

  • 以及最广大、最普通的学生群体。

项目规划及进展

本项目拟围绕开源 LLM 应用全流程组织，包括环境配置及使用、部署应用、微调等，每个部分覆盖主流及特点开源 LLM：

项目地址

https://github.com/datawhalechina/self-llm?tab=readme-ov-file

已支持模型

  • Llama3_1-8B-Instruct

  • Llama3_1-8B-Instruct FastApi 部署调用

  • Llama3_1-8B-Instruct langchain 接入

  • Llama3_1-8B-Instruct WebDemo 部署

  • Llama3_1-8B-Instruct Lora 微调

  • Gemma-2-9b-it

  • Gemma-2-9b-it FastApi 部署调用

  • Gemma-2-9b-it langchain 接入

  • Gemma-2-9b-it WebDemo 部署

  • Gemma-2-9b-it Peft Lora 微调

  • Yuan2.0

  • Yuan2.0-2B FastApi 部署调用

  • Yuan2.0-2B Langchain 接入

  • Yuan2.0-2B WebDemo部署

  • Yuan2.0-2B vLLM部署调用

  • Yuan2.0-2B Lora微调

  • Yuan2.0-M32

  • Yuan2.0-M32 FastApi 部署调用

  • Yuan2.0-M32 Langchain 接入

  • Yuan2.0-M32 WebDemo部署

  • DeepSeek-Coder-V2

  • DeepSeek-Coder-V2-Lite-Instruct FastApi 部署调用

  • DeepSeek-Coder-V2-Lite-Instruct langchain 接入

  • DeepSeek-Coder-V2-Lite-Instruct WebDemo 部署

  • DeepSeek-Coder-V2-Lite-Instruct Lora 微调

  • 哔哩哔哩 Index-1.9B

  • Index-1.9B-Chat FastApi 部署调用

  • Index-1.9B-Chat langchain 接入

  • Index-1.9B-Chat WebDemo 部署

  • Index-1.9B-Chat Lora 微调

  • Qwen2

  • Qwen2-7B-Instruct FastApi 部署调用

  • Qwen2-7B-Instruct langchain 接入

  • Qwen2-7B-Instruct WebDemo 部署

  • Qwen2-7B-Instruct vLLM 部署调用

  • Qwen2-7B-Instruct Lora 微调

  • GLM-4

  • GLM-4-9B-chat FastApi 部署调用

  • GLM-4-9B-chat langchain 接入

  • GLM-4-9B-chat WebDemo 部署

  • GLM-4-9B-chat vLLM 部署

  • GLM-4-9B-chat Lora 微调

  • Qwen 1.5

  • Qwen1.5-7B-chat FastApi 部署调用

  • Qwen1.5-7B-chat langchain 接入

  • Qwen1.5-7B-chat WebDemo 部署

  • Qwen1.5-7B-chat Lora 微调

  • Qwen1.5-72B-chat-GPTQ-Int4 部署环境

  • Qwen1.5-MoE-chat Transformers 部署调用

  • Qwen1.5-7B-chat vLLM推理部署

  • Qwen1.5-7B-chat Lora 微调 接入SwanLab实验管理平台

  • 谷歌-Gemma

  • gemma-2b-it FastApi 部署调用

  • gemma-2b-it langchain 接入

  • gemma-2b-it WebDemo 部署

  • gemma-2b-it Peft Lora 微调

  • phi-3

  • Phi-3-mini-4k-instruct FastApi 部署调用

  • Phi-3-mini-4k-instruct langchain 接入

  • Phi-3-mini-4k-instruct WebDemo 部署

  • Phi-3-mini-4k-instruct Lora 微调

  • CharacterGLM-6B

  • CharacterGLM-6B Transformers 部署调用

  • CharacterGLM-6B FastApi 部署调用

  • CharacterGLM-6B webdemo 部署

  • CharacterGLM-6B Lora 微调

  • LLaMA3-8B-Instruct

  • LLaMA3-8B-Instruct FastApi 部署调用

  • LLaMA3-8B-Instruct langchain 接入

  • LLaMA3-8B-Instruct WebDemo 部署

  • LLaMA3-8B-Instruct Lora 微调

  • XVERSE-7B-Chat

  • XVERSE-7B-Chat transformers 部署调用

  • XVERSE-7B-Chat FastApi 部署调用

  • XVERSE-7B-Chat langchain 接入

  • XVERSE-7B-Chat WebDemo 部署

  • XVERSE-7B-Chat Lora 微调

  • TransNormerLLM

  • TransNormerLLM-7B-Chat FastApi 部署调用

  • TransNormerLLM-7B-Chat langchain 接入

  • TransNormerLLM-7B-Chat WebDemo 部署

  • TransNormerLLM-7B-Chat Lora 微调

  • BlueLM Vivo 蓝心大模型

  • BlueLM-7B-Chat FatApi 部署调用

  • BlueLM-7B-Chat langchain 接入

  • BlueLM-7B-Chat WebDemo 部署

  • BlueLM-7B-Chat Lora 微调

  • InternLM2

  • InternLM2-7B-chat FastApi 部署调用

  • InternLM2-7B-chat langchain 接入

  • InternLM2-7B-chat WebDemo 部署

  • InternLM2-7B-chat Xtuner Qlora 微调

  • DeepSeek 深度求索

  • DeepSeek-7B-chat FastApi 部署调用

  • DeepSeek-7B-chat langchain 接入

  • DeepSeek-7B-chat WebDemo

  • DeepSeek-7B-chat Lora 微调

  • DeepSeek-7B-chat 4bits量化 Qlora 微调

  • DeepSeek-MoE-16b-chat Transformers 部署调用

  • DeepSeek-MoE-16b-chat FastApi 部署调用

  • DeepSeek-coder-6.7b finetune colab

  • Deepseek-coder-6.7b webdemo colab

  • MiniCPM

  • MiniCPM-2B-chat transformers 部署调用

  • MiniCPM-2B-chat langchain 接入

  • MiniCPM-2B-chat webdemo 部署

  • MiniCPM-2B-chat Lora && Full 微调

  • 官方友情链接：面壁小钢炮MiniCPM教程

  • Qwen-Audio

  • Qwen-Audio FastApi 部署调用

  • Qwen-Audio WebDemo

  • Qwen

  • Qwen-7B-chat Transformers 部署调用

  • Qwen-7B-chat FastApi 部署调用

  • Qwen-7B-chat WebDemo

  • Qwen-7B-chat Lora 微调

  • Qwen-7B-chat ptuning 微调

  • Qwen-7B-chat 全量微调

  • Qwen-7B-Chat 接入langchain搭建知识库助手

  • Qwen-7B-chat 低精度训练

  • Qwen-1_8B-chat CPU 部署

  • Yi 零一万物

  • Yi-6B-chat FastApi 部署调用

  • Yi-6B-chat langchain接入

  • Yi-6B-chat WebDemo

  • Yi-6B-chat Lora 微调

  • Baichuan 百川智能

  • Baichuan2-7B-chat FastApi 部署调用

  • Baichuan2-7B-chat WebDemo

  • Baichuan2-7B-chat 接入 LangChain 框架

  • Baichuan2-7B-chat Lora 微调

  • InternLM

  • InternLM-Chat-7B Transformers 部署调用

  • InternLM-Chat-7B FastApi 部署调用

  • InternLM-Chat-7B WebDemo

  • Lagent+InternLM-Chat-7B-V1.1 WebDemo

  • 浦语灵笔图文理解&创作 WebDemo

  • InternLM-Chat-7B 接入 LangChain 框架

  • Atom (llama2)

  • Atom-7B-chat WebDemo

  • Atom-7B-chat Lora 微调

  • Atom-7B-Chat 接入langchain搭建知识库助手

  • Atom-7B-chat 全量微调

  • ChatGLM3

  • ChatGLM3-6B Transformers 部署调用

  • ChatGLM3-6B FastApi 部署调用

  • ChatGLM3-6B chat WebDemo

  • ChatGLM3-6B Code Interpreter WebDemo

  • ChatGLM3-6B 接入 LangChain 框架

  • ChatGLM3-6B Lora 微调

通用环境配置

  • pip、conda 换源

  • AutoDL 开放端口

  • 模型下载

  • hugging face

  • hugging face 镜像下载

  • modelscope

  • git-lfs

  • Openxlab

扫码获取~

麻辣排骨面
关注
《开源大模型食用指南》是基于Linux环境快速部署开源大模型的教程
09-19
本项目是一个围绕开源大模型、针对国内初学者、基于 AutoDL 平台的中国宝宝专属大模型教程，针对各类开源大模型提供包括环境配置、本地部署、高效微调等技能在内的全流程指导，简化开源大模型的部署、使用和应用流程...
Linux从零部署本地AI大模型对接本地知识库全记录
m0_63171455的博客
05-23 1923
在ollama官网右上角可以搜索你想要的大模型，我搜索【qwen】，进入模型详情页后，可以选择版本，这里我选择了最低的版本，你们可以根据你们的服务器情况选择合适的版本，右边已经给出了下载模型的命令，复制执行。重启服务后，进入fastgpt，知识库中新建一个知识库，索引模型选择刚新建的向量模型m3e，文件处理模型选择之前在ollama里安装的模型，然后点击【确认创建】按钮。第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
深度学习软件安装教程
weixin_43940118的博客
06-17 254
Nvidia显卡驱动安装地址(nvidia-smi 可用于查看支持最高的cuda版本,不一定要装)# CUDA 安装(与pytorch版本对应)(nvcc -V 安装的cuda版本)- 解决vscode终端切换环境不显示问题。- linux下使用提示命令安装。## vscode下载缓慢问题。- windows下双击安装。- 解决终端字体不对其问题。## linux下安装方法。## window安装方法。# VSCode相关问题。**找到安装下载地址**# CUDNN 安装地址。
DeepSeek-Coder-V2 开源项目教程
gitblog_01036的博客
08-25 1064
DeepSeek-Coder-V2 开源项目教程 DeepSeek-Coder-V2项目地址:https://gitcode.com/gh_mirrors/de/DeepSeek-Coder-V2 项目介绍 DeepSeek-Coder-V2 是一个先进的代码语言模型，它在代码特定任务中实现了与 GPT4-Turbo 相当的性能。该项目是基于 DeepSeek-V2 的一个中间检查点进一步预训练...
Continue-AI编程助手本地部署llama3.1+deepseek-coder-v2
云樱梦海的博客
08-04 1388
Continue-AI编程助手支持本地部署，推荐使用llama3.1和deepseek-coder-v2模型。提供了安装指南、命令行运行示例、VS Code集成和使用教程，包括代码理解、自动完成、重构函数和错误处理等功能。详细文档可在官方链接中找到。
DeepSeek-Coder-V2 开源项目使用指南
gitblog_00228的博客
08-26 527
DeepSeek-Coder-V2 开源项目使用指南 DeepSeek-Coder-V2项目地址:https://gitcode.com/gh_mirrors/de/DeepSeek-Coder-V2 1. 项目目录结构及介绍 DeepSeek-Coder-V2 项目基于 GitHub 平台托管，其目录结构精心设计以支持高效的代码智能服务。以下是一个典型的项目结构概览： DeepSeek-Cod...
从零开始实践大模型 - 配置环境
LucienShui
07-06 984
本文详细介绍了在 Linux 系统上配置深度学习环境的步骤，包括配置 SSH 登录、安装显卡驱动及禁用 Nouveau、安装并配置 Docker 以支持 GPU 以及切换至普通用户并安装 Miniconda。此外，文章还提供了如何配置 conda 和 PyPI 镜像的方法，并给出了若干实用建议，以避免常见问题和潜在风险，提高配置效率和安全性。
《开源大模型食用指南》基于Linux环境快速部署开源大模型，更适合中国宝宝
09-02
《开源大模型食用指南》基于Linux环境快速部署开源大模型，更适合中国宝宝的部署教程_self-llm
《开源大模型食用指南》基于AutoDL快速部署开源大模型，更适合中国宝宝的部署教程.zip
03-14
垂直领域大模型，多模态，人工智能，易于部署，学习交流使用
《AI大模型应用》-《开源大模型食用指南》基于Linux环境快速部署开源大模型，更适合中国宝宝的部署教程.zip
07-10
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所...
本地部署开源大模型的完整教程LangChain + Streamlit+ Llama
09-23
本地部署开源大模型的完整教程 LangChain + Streamlit+ LLaMA 本教程旨在指导开发人员如何在本地部署开源的大型语言模型（LLM），并使用LangChain、Streamlit和LLaMA等工具来创建交互式应用程序。以下是教程中涉及...
Linux系统从零搭建本地大模型
qq_45179513的博客
11-08 1350
Linux系统下，从零搭建出属于自己的大模型
10款好用的开源 HarmonyOS 工具库
威哥爱编程，CSDN 博客专家、全栈领域新星创作者、华为 HDE，愿交天下 IT 技术爱好者
09-30 1591
HarmonyOS NEXT 正式版即将发布，你在学习鸿蒙的过程还有哪些好用的工具库吗，欢迎分享给V 哥，关注威哥爱编程，一起学习鸿蒙开发。
深入解析开源大模型的GPU资源需求与优化策略
CSDNDN的博客
10-02 1132
随着大模型的火热很多项目中都使用到了开源大模型，这时候准确评估大模型的GPU资源非常重要，主要有下面几个方面：GPU是昂贵的资源。高估内存需求可能导致在硬件上的不必要支出，而低估则可能导致系统故障或性能下降。：适当的内存管理确保模型高效运行，能够更快地响应用户并处理更多并发请求。：随着需求的增长，理解内存需求对于在不牺牲性能或产生高昂成本的情况下扩展服务至关重要。尽管其重要性显而易见，但计算用于服务大型语言模型（LLM）的GPU内存并不简单。
cherry-markdown开源markdown组件详细使用教程
每个人都是独一无二的，把握好自己的节奏，跟着自己的心走。
10-05 1051
cherry-markdown开源markdown组件详细使用教程
构建llama.cpp并在linux上使用gpu
最新发布
百般回首曾经的相遇，留下的只是一缕残忆
10-06 422
更多详情参见，官网网站会随着版本迭代更新。
【项目记录】大模型基于llama.cpp在Qemu-riscv64向量扩展指令下的部署
知识，既贵，又便宜。
10-03 1061
大模型基于llama.cpp在Qemu-riscv64向量扩展指令架构的模拟器上部署
Llama 3.2 多模态大模型快速指南
新缸中之脑
10-02 1318
Meta 刚刚发布了 Llama 3.2，将语言和视觉模型整合到一个强大的多模态系统中。它引入了四个模型：两个轻量级文本模型（1B 和 3B）和两个视觉模型（11B 和 90B）。这些模型专为一系列任务而设计，从总结长文档到以复杂的方式理解图像。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值