今天给大家分享GitHub上一份超全面的开源大模型使用指南self-llm,该项目来自国内非常火的开源社区DataWhale。
这份超全面的开源大模型使用指南我放在这里了,需要的小伙伴可以扫取。
self-llm项目是一个围绕开源大模型、针对国内初学者、基于AutoDL平台的中国学者专属大模型教程,针对各类开源大模型提供包括环境配置、本地部署、高效微调等技能在内的全流程指导,简化开源大模型的部署、使用和应用流程,让更多的普通学生、研究者更好地使用开源大模型,帮助开源、自由的大模型更快融入到普通学习者的生活中。提供了针对国内初学者的开源大模型教程,通过 AutoDL 平台,简化模型的部署、使用和应用流程。
相关链接
GitHub地址:github.com/datawhalechina/self-llm
项目意义
百模大战正值火热,开源LLM层出不穷。如今国内外已经涌现了众多优秀开源 LLM,国外如 LLaMA、Alpaca,国内如 ChatGLM、BaiChuan、InternLM(书生·浦语)等。
开源 LLM 支持用户本地部署、私域微调,每一个人都可以在开源 LLM 的基础上打造专属于自己的独特大模型。
然而,当前普通学生和用户想要使用这些大模型,需要具备一定的技术能力,才能完成模型的部署和使用。对于层出不穷又各有特色的开源 LLM,想要快速掌握一个开源 LLM 的应用方法,是一项比较有挑战的任务。
本项目旨在首先基于核心贡献者的经验,实现国内外主流开源 LLM 的部署、使用与微调教程;在实现主流 LLM 的相关部分之后,我们希望充分聚集共创者,一起丰富这个开源 LLM 的世界,打造更多、更全面特色 LLM 的教程。星火点点,汇聚成海。
主要内容
- 基于 AutoDL 平台的开源 LLM 环境配置指南,针对不同的模型要求提供不同的详细环境配置步骤;
- 提供国内外主流开源 LLM 的部署使用教程,包括 LLaMA、ChatGLM、InternLM 等;
- 提供开源 LLM 的部署应用指导,包括命令行调用、在线 Demo 部署、LangChain 框架集成等;
- 提供开源 LLM 的全量微调、高效微调方法,包括分布式全量微调、LoRA、ptuning 等。
适合以下学习者
- 想要使用或体验 LLM,但无条件获得或使用相关 API;
- 希望长期、低成本、大量应用 LLM;
- 对开源 LLM 感兴趣,想要亲自上手开源 LLM;
- NLP 在学,希望进一步学习 LLM;
- 希望结合开源 LLM,打造领域特色的私域 LLM;
- 以及最广大、最普通的学生群体。
学习建议
本项目的学习建议是,先学习环境配置,然后再学习模型的部署使用,最后再学习微调。因为环境配置是基础,模型的部署使用是基础,微调是进阶。初学者可以选择Qwen1.5,InternLM2,MiniCPM等模型优先学习。
这份超全面的开源大模型使用指南我放在这里了,需要的小伙伴可以扫取。