0基础小白入门必看：AI大模型基本概念与工具梳理

最新推荐文章于 2025-05-12 11:08:18 发布

AI小白熊

最新推荐文章于 2025-05-12 11:08:18 发布

阅读量671

点赞数 23

文章标签：人工智能深度学习语言模型机器学习 ai 程序员转行

本文链接：https://blog.csdn.net/2401_85325726/article/details/147891319

版权

常见概念

RAG（Retrieval-Augmented Generation，检索增强生成）是一种结合了信息检索技术与语言生成模型的人工智能技术。

LLM（Large Language Models）大语言模型。

MoE（Mixture of Experts)，混合专家模型（一种模型架构，通过多个“专家”网络并行处理输入数据，然后通过门控机制选择最合适的专家输出结果。MoE模型特别适合于处理大规模数据，在计算效率和性能平衡方面表现出色。

Prompt提示词，在生成式模型中，用于引导模型生成特定内容的输入文本。精心设计的提示词可以显著影响模型输出的质量，适用于文本生成、问答系统等多种任务。

1.5B中的B是Billion（十亿参数)，表示模型的参数量级，直接影响计算复杂度和显存占用。

‍

AI大模型

openAI公司的AI大模型是chatgpt
meta公司的AI大模型是llama
google公司的AI大模型是gemma，编程专项是claude系列
google deepmind 公司的AI大模型是gemini
埃隆-马斯克公司的模型是grok
幻方量化公司的AI大模型是deepseek
阿里巴巴的AI大模型是通义前问qwen
百度的AI大模型是文心一言
腾讯的AI大模型是元宝

manus 相比较上述的最大区别在于，Manus AI 强调自主执行任务和交付完整成果的能力，而ChatGPT 则更侧重于对话和文本生成。关于manus的使用体验可以参考我之前的使用经验。

AI代码编辑器

1、cursor的下载链接：https://www.cursor.com/downloads，支持mcos、windows、linux等平台使用。不过cursor只赠送部分token，无法无限制使用，要想无限制使用，必须购买，或者不停用新的邮箱注册。

2、微软的copilot：更新vscode至新版本，安装插件github copilot和github copilot chat。全平台支持。

3、字节跳动trae，目前只支持mac和windows平台，linux平台需要预约。

目前只介绍主流的AI代码编辑器，基本提供的功能都一致，根据注释写代码，解码代码等。

‍

大模型管理工具

管理或者快捷部署本地大模型的工具，较为热门的主要包括：Ollama、LM Studio、Xinference。

Ollama是一个简单易用的工具，让你能在自己的电脑上运行大模型，它通过命令行操作，所有的计算和数据都在本地完成，不需要依赖云服务，其也支持部分模型的下载，它支持GGUF格式的模型，用户可以自定义模型的量化和优化。

LM Studio是一款功能强大、易于使用的桌面应用程序，用于在本地机器上实验和评估大型语言模型（LLMs）。它允许用户轻松地比较不同的模型，并支持使用 NVIDIA/AMD GPU 加速计算。

Xorbits Inference是一个性能强大且功能全面的分布式推理框架。可用于各种模型的推理。通过 Xinference，你可以轻松地一键部署你自己的模型或内置的前沿开源模型。

另外单独介绍一个开源模型平台，就是Hugging Face。Hugging Face是一个开源平台，里面汇聚了海量的预训练模型，它支持多种模型格式，包括SafeTensor和GGUF。可以快速地复现主要模型的效果。

个人知识库部署工具

一个全栈应用程序，能够将任何文档、资源或内容转换为任何 LLM 都可以在聊天期间用作参考的上下文。此应用程序允许您选择要使用的 LLM 或矢量数据库，并支持多用户管理和权限。可以在其中使用商用现成的 LLM 或流行的开源 LLM 和 vectorDB 解决方案来构建一个私有 ChatGPT，可以在本地运行和远程托管。其他类似工具有dify和RAGFlow，网上看到了一个三者对比的资料，下面列出其对比表格。

工具	核心定位	核心功能亮点	适用场景
AnythingLLM	隐私优先的私有化知识库聊天机器人	- 支持本地部署，数据不经过第三方服务器； - 多用户权限管理，工作区隔离； - 支持多模型和向量数据库集成。	个人或企业对数据隐私要求高的场景，如内部知识管理、敏感数据问答。
Dify	大语言模型应用开发平台（LLMOps）	- 可视化工作流编排（Chatflow/Workflow）； - 内置RAG引擎和Agent框架； - 支持数百种模型与API快速集成。	企业级 AI 应用开发，如智能客服、内容生成、自动化数据分析等需快速迭代的场景。
RAGFlow	端到端的高质量RAG引擎（深度文档理解）	- 复杂文档解析（PDF、影印件等）； - 基于模板的文本切片与可视化调整； - 多路召回与重排序优化。	需要处理多格式文档且对答案准确性要求高的场景，如法律、医疗、金融领域的知识库问答。

其他的还有Open WebUI、 FastGPT、MaxKB

大模型常见格式

pickle
SafeTensor
GGUF,llama.cpp的作者
GGML
ONNX

借用Qwen2.5.1-Coder-7B-Instruct-Q3_K_L.gguf这个名字讲解，Qwen表示前问大模型，7B表示参数，Qx - 中的x 表示几位量化。以_0或者_1结尾的方法，如Q4_0，Q4_1，是朴素方法。Qn后面是_K，如Q4_K_M，表示k-quants量化方法，_K后面的字母表示模型大小，_M表示middle，_S表示small。以I开头的方法，比如IQ4_XS，表示i-quants量化方法，Qn后的字母表示模型大小。以T开头的，如TQ1_0，表示三元量化（ternary）。