GitHub大模型优质资源整理_github基于大模型的个人知识库-CSDN博客

本文链接：https://blog.csdn.net/l35633/article/details/137643680

LLM从入门到精通的开源课程

地址

GitHub - mlabonne/llm-course: Course to get into Large Language Models (LLMs) with roadmaps and Colab notebooks.

说明

包括基础知识、构建部署大模型和创建大模型应用三个部分，最受欢迎的大模型学习课程之一，也是被认为最全的开源大模型教程。知乎（https://zhuanlan.zhihu.com/p/686909100）里面也有对其的一些相关描述，可以补充查阅，有很多相关技术的学习链接。

huggingface：https://huggingface.co/mlabonne

作者博客：https://mlabonne.github.io/blog/

ChatGPT相关API创造新的功能和应用

地址

GitHub - Simba2017/hugging-llm: HuggingLLM, Hugging Future.

说明

聚焦于如何使用ChatGPT相关API创造新的功能和应用。对相关任务有详细的背景和系统设计介绍。提供示例代码和实现流程。有配套视频的链接，有纸质书对应。

大模型相关技术原理以及实战经验

地址

GitHub - kekewind/llm-action: 本项目旨在分享大模型相关技术原理以及实战经验。

说明

有对应的知乎专栏（https://www.zhihu.com/column/c_1456193767213043713），网站都有相关说明，包括相关的大模型学习与技术资料。

一个可以在任何地方运行的大型语言模型

地址

GitHub - nomic-ai/gpt4all: gpt4all: run open-source LLMs anywhere

说明

GPT4All是一个开源的大语言模型，它允许在本地CPU和几乎任何GPU上运行。这意味着用户可以在自己的设备上运行和定制这些模型，而无需依赖云服务。GPT4All模型文件的大小介于3GB到8GB之间，用户可以下载并插入到GPT4All的开源生态系统软件中。该项目由Nomic AI支持和维护，以确保软件生态系统的质量和安全性，并引领任何个人或企业轻松训练和部署自己的本地大型语言模型的努力。

C++大模型部署工具

地址

GitHub - ggerganov/llama.cpp: LLM inference in C/C++

说明

llama.cpp是一个C++编写的轻量级开源类AIGC大模型框架,可以支持在消费级普通设备上本地部署运行大模型。

大模型的研究分为训练和推理两个部分。训练的过程，实际上就是在寻找模型参数，使得模型的损失函数最小化，推理结果最优化的过程。训练完成之后，模型的参数就固定了，这时候就可以使用模型进行推理，对外提供服务。llama.cpp就可以快速部署模型推理了，通俗的说，可以快速在本地运行大模型做应用了。

学术科研技术优化大模型

地址

GitHub - binary-husky/gpt_academic: 为GPT/GLM等LLM大语言模型提供实用化交互接口，特别优化论文阅读/润色/写作体验，模块化设计，支持自定义快捷按钮&函数插件，支持Python和C++等项目剖析&自译解功能，PDF/LaTex论文翻译&总结功能，支持并行问询多种LLM模型，支持chatglm3等本地模型。接入通义千问, deepseekcoder, 讯飞星火, 文心一言, llama2, rwkv, claude2, moss等。

说明

可以接入各种大模型，同时进行各种代码和论文技术相关的操作。非常好的科研、学术、编程和技术助手。

MetaGPT:面向编程的多智能体框架

地址

GitHub - geekan/MetaGPT: 🌟 The Multi-Agent Framework: First AI Software Company, Towards Natural Language Programming

说明

一个可以替代小型软件开发团队的配备齐全的软件开发GPT，产品经理、系统设计、代码实现一条龙。是一个全新的AI Agent项目，它基于GPT-4提供了专注于软件开发的自动代理框架，几乎可以理解为配备了产品经历、系统设计师、程序员的一个小团队，可以基于原始的需求直接生成最后的代码项目。

GPT检索分析本地文档工具

地址

GitHub - run-llama/llama_index: LlamaIndex is a data framework for your LLM applications

说明

Llamalndex调用ChatGPT分析多种格式的本地文本，比如分析一篇课文，一本教材，一个专题文本库，或者你自己创建的某一学科的语料库，等等。多模态处理功能:处理图片、音视频，对多模态研究和应用有强大潜力。比如，官网提供了一个典型的应用场景，让ChatGPT等大语言模型帮你整理发票。

超级助手AI大脑

地址

GitHub - QuivrHQ/quivr: Your GenAI Second Brain 🧠 A personal productivity assistant (RAG) ⚡️🤖 Chat with your docs (PDF, CSV, ...) & apps using Langchain, GPT 3.5 / 4 turbo, Private, Anthropic, VertexAI, Ollama, LLMs, Groq that you can share with users ! Local & Private alternative to OpenAI GPTs & ChatGPT powered by retrieval-augmented generation.

说明

构建个人知识库，成为个人的第二大脑和超级私人助理。

高性能聊天机器人框架

地址

GitHub - lobehub/lobe-chat: 🤯 Lobe Chat - an open-source, modern-design LLMs/AI chat framework. Supports Multi AI Providers( OpenAI / Claude 3 / Gemini / Perplexity / Bedrock / Azure / Mistral / Ollama ), Multi-Modals (Vision/TTS) and plugin system. One-click FREE deployment of your private ChatGPT chat application.

说明

LobeChat 是一个开源、高性能的聊天机器人框架。支持语音合成、多模态和可扩展插件系统。支持一键式免费部署私人ChatGPT/LLM 网络应用程序。

本地知识库大模型项目

地址

GitHub - chatchat-space/Langchain-Chatchat: Langchain-Chatchat（原Langchain-ChatGLM）基于 Langchain 与 ChatGLM 等语言模型的本地知识库问答 | Langchain-Chatchat (formerly langchain-ChatGLM), local knowledge based LLM (like ChatGLM) QA app with langchain

说明

一个基于 ChatGLM 大语言模型与 Langchain 应用框架实现，开源、可离线部署的检索增强生成 (RAG) 大模型的本地知识库问答应用项目。

专业领域全能AI导师/私人教练

地址

https://github.com/JushBJJ/Mr.-Ranedeer-AI-Tutor

说明

通过Prompt（提示词）约束大模型，使其成为某个专业领域私人教练的AI工具。

基于大模型搭建的聊天机器人

地址

https://github.com/zhayujie/chatgpt-on-wechat

说明

基于大模型搭建的聊天机器人，同时支持企业微信、微信公众号、飞书、钉钉等接入，可选择GPT3.5/GPT4.0/Claude/文心一言/讯飞星火/通义千问/Gemini/GLM-4/Claude/LinkAI，能处理文本、语音和图片，访问操作系统和互联网，支持基于自有知识库进行定制企业智能客服

通过拖放界面构建定制的LLM流程

地址

https://github.com/FlowiseAI/Flowise

说明

通过拖放界面构建定制的LLM流程。

一种超智能AI模型管家

地址

GitHub - microsoft/JARVIS: JARVIS, a system to connect LLMs with ML community. Paper: https://arxiv.org/pdf/2303.17580.pdf

说明

连接众多 AI 模型以解决复杂 AI 任务的接口，可理解为一种超智能AI模型管家。它是一个多模型协作的系统，通过chatgpt控制HuggingFace上多个专用模型分别实现某一功能然后汇总完成一个完整的任务。

Agent驱动的虚拟软件公司

地址

GitHub - OpenBMB/ChatDev: Create Customized Software using Natural Language Idea (through LLM-powered Multi-Agent Collaboration)

说明

ChatDev 拟作一个由多智能体协作运营的虚拟软件公司，在人类“用户”指定一个具体的任务需求后，不同角色的智能体将进行交互式协同，以生产一个完整软件（包括源代码、环境依赖说明书、用户手册等）。这一技术为软件开发自动化提供了新的可能性，支持快捷高效且经济实惠的软件制作，未来将有效地将部分人力从传统软件开发的繁重劳动中解放出来

自动化AI机器学习框架

地址

GitHub - mindsdb/mindsdb: The platform for customizing AI from enterprise data

说明

在机器学习领域，构建和训练模型是一项复杂且耗时的任务。为了简化这个过程，提高效率，MindsDB库应运而生。MindsDB是一个开源的自动化机器学习框架，它旨在使机器学习变得更加易于使用，即使是对于非专业的数据科学家和开发人员也是如此。MindsDB 自动化并集成了顶级机器学习框架（包括 GPT-4）。以下是您可以使用 MindsDB 构建的一些常见用例：

对话式人工智能：利用 MindsDB 与数据平台和预训练的大型语言模型（如 OpenAI 的 GPT）的本地集成，快速构建对话式人工智能解决方案，无需管理复杂的数据管道开销。

欺诈检测：MindsDB 可帮助开发人员构建模型以检测金融交易、电子商务平台等的欺诈行为。

销售预测：MindsDB 可用于开发基于历史销售数据预测未来销售的模型，使企业能够做出更明智的决策。

客户细分：MindsDB 可以帮助开发人员根据客户的行为、偏好和其他因素对客户进行细分，使企业能够量身定制其营销策略。

情感分析：MindsDB 与预训练模型（如 OpenAI GPT 或 Hugging Face）的本地集成可用于分析文本数据（如客户评价）的情感，仅需一条命令，而无需逐个调用 API 并进行 ETL 处理数据。

预测性维护：MindsDB 可用于构建模型以预测设备或机器可能发生故障的时间，从而实现主动维护，最大程度地减少停机时间。

MindsDB 适用于大多数 SQL 和 NoSQL 数据库、数据湖、数据流和流行的应用程序，集成外部数据源多达70 + 。

简易落地和持续改进AI应用

地址

GitHub - langgenius/dify: Dify is an open-source LLM app development platform. Dify's intuitive interface combines AI workflow, RAG pipeline, agent capabilities, model management, observability features and more, letting you quickly go from prototype to production.

说明

随着大型语言模型（LLM）不断涌现的各种能力，AI 应用的场景变得更加广阔。然而，对于大多数开发者而言，基于 GPT 等大型语言模型、Langchain 等技术框架开发 AI 应用仍然是一项门槛极高的任务。开发者必须花费大量时间学习各种晦涩的概念和技术研究，也无法进行 AI 应用的持续运营。是否有这样一个工具，开发者无需关注基础设施的底层原理，只需专注于将想象力转化为实际落地的 AI 应用并持续运营，可以将大型语言模型变成像云计算服务一样易于使用？基于这个问题，Dify.AI 诞生了。

Dify.AI 是一款 LLMOps 平台，帮助开发者更简单、更快速地构建 AI 应用。它的核心理念是通过可声明式的 YAML 文件定义 AI 应用的各个方面，包括 Prompt、上下文和插件等。Dify 提供了可视化的 Prompt 编排、运营、数据集管理等功能。这些功能使得开发者能够在数天内完成 AI 应用的开发，或将 LLM 快速集成到现有应用中，并进行持续运营和改进，创造一个真正有价值的 AI 应用。