全面解析LLM技术：一张图带你跨越从基础设施到AI的鸿沟

LLM 技术图谱（LLM Tech Map）是将 LLM 相关技术进行系统化和图形化的呈现，此图谱主要特点是“专注于技术人视角”，不求从 LLM 产业角度汇聚信息，而是希望让从事相关工作或是想了解 LLM 的技术人有一个快速感知。

LLM 技术图谱（LLM Tech Map）从基础设施、大模型、Agent、AI 编程、工具和平台，以及算力几个方面，为开发者整理了当前 LLM 中最为热门和硬核的技术领域以及相关的软件产品和开源项目。

核心价值：帮助技术人快速了解 LLM 的核心技术和关键方向。

1.基础设施

LLM 技术图谱（LLM Tech Map）的基础设施部分主要包括以下几个方面：

• 向量数据库：向量数据库是专门用于存储和检索向量数据的数据库，它可以为 LLM 提供高效的存储和检索能力。
• 数据库向量支持：传统数据库通常不支持向量数据的存储和检索，数据库向量支持可以为传统数据库添加向量数据的存储和检索能力。
• 大模型框架、微调 (Fine Tuning)：针对大模型的开发。
• 大模型训练平台与工具

1.1向量数据库

• Milvus
• Pinecone
• Weaviate
• Chroma
• Qdrant
• Vespa
• Vald
• Faiss
• ScaNN
• Vearch
• AquilaDB
• Marqo
• LanceDB
• Annoy
• NucliaDB
• DeepLake
• MongoDB

1.2数据库向量支持

• pgvector
• Redis Vector
• Elastic
• SingleStoreDB
• Solr
• OpenSearch
• ClickHouse
• Rockset
• Cassandra
• Lucene
• Neo4j
• Kinetica
• Supabase
• Timescale

1.3大模型框架、微调 (Fine Tuning)

• OneFlow
• LMFlow
• LoRA
• Alpaca-LoRA
• PEFT
• ChatGLM-Efficient-Tuning
• LLaMA-Efficient-Tuning
• P-tuning v2
• OpenLLM
• h2o-llmstudio
• xTuring
• finetuner
• YiVal

1.4大模型训练平台与工具

• Pytorch
• BMtrain
• colossalAI
• Tensorflow
• PaddlePaddle
• MindSpore
• Deepspeed
• XGBoost
• Transformers
• Apache MXNet
• Ray

2.大模型

LLM 技术图谱（LLM Tech Map）的大模型部分主要包括以下几个方面：

• 备案上线的中国大模型：有牌照提供服务的大模型，需要注意的是大模型和相应的产品多半名称不同。
• 知名大模型：在全球范围内，已经发布了多款知名大模型，这些大模型在各个领域都取得了突破性的进展。
• 知名大模型应用：LLM 已经在多种应用场景中得到了应用，包括文本生成、机器翻译、问答、自然语言推理等。

2.1中国大模型

• 文心一言
• 云雀
• GLM
• 紫东太初
• 百川
• 日日新
• ABAB 大模型
• 书生通用大模型
• 混元大模型

2.2知名大模型

• Llama 2
• OpenLLaMA
• 百川
• 通义大模型
• 文心一言
• StableLM
• MOSS
• Dolly
• BLOOM
• Falcon LLM
• ChatGLM
• PaLM 2
• 盘古
• GPT-4
• Stable Diffusion
• DALL·E 3

2.3 知名大模型应用

• ChatGPT
• Claude
• Cursor
• Mochi Diffusion
• Midjourey
• DragGAN
• Bard
• Bing

3.AI Agent（LLM Agent）

AI Agent是一种能够自主运作并完成特定任务的计算实体或程序。它能够通过传感器感知周围环境，并根据感知到的信息做出决策，然后通过执行器采取行动。LLM Agent 是指基于 LLM 技术构建的智能代理，它可以用于各种任务，比如让机器与 ChatGPT 交互，一层一层挖掘信息，自动化完成任务；比如由机器人构成的虚拟小镇。

• 核心特点

  • 自主性：AI Agent具有独立思考和行动的能力，能够在没有人类直接指导的情况下完成任务。
  • 交互性：AI Agent能够与环境或其他Agent进行交互，这在游戏、对话系统、推荐系统等场景中尤为重要。
  • 目的性：AI Agent设计有明确的目标或意图，其行为是为了实现这些目标。
  • 适应性：AI Agent能够根据环境的变化调整自己的行为，以适应新的情境。
  • 进化性：随着技术的发展，AI Agent的功能和智能水平也在不断提升。

• 技术特点

  • AI Agent与大模型的主要区别在于，大模型与人类之间的交互是基于prompt实现的，而AI Agent仅需给定一个目标，它就能够针对目标独立思考并做出行动。
  • AI Agent的核心驱动力是大模型，并在此基础上增加了规划（Planning）、记忆（Memory）和工具使用（Tool Use）三个关键组件。

• 类型从工作模式来看，AI Agent可以分为以下三种类型：

  • 单Agent：侧重于执行单一任务或一系列相关任务，且不需要与其他智能体进行交互。
  • 多Agent：涉及多个智能体之间的协作和交互，以完成更复杂的任务。
  • 混合Agent（人机交互Agent）：结合了人类和智能体的交互，以实现更高效的任务执行。

• Rivet

• JARVIS

• MetaGPT

• AutoGPT

• BabyAGI

• NexusGPT

• Generative Agents

• Voyager

• GPTeam

• GPT Researcher

• Amazon Bedrock Agents

4.AI 编程

AI编程是指利用计算机编程语言和技术来创建、训练和优化人工智能算法的过程。它涵盖了数据的收集、清洗、转换以及算法的选择和应用。AI编程是构建未来智能系统的关键，通过模拟人类智能的能力，使计算机能够执行类似于人类的决策和任务。编程语言如Python因其强大的数据处理库和简洁的语法，成为AI编程的常用工具。

• codeium.vim
• Cursor
• GitHub Copilot
• Comate
• StableCode
• CodeGeeX
• TabbyML
• CodeArts Snap
• Code Llama
• CodeFuse
• 姜子牙
• CodeShell

5.工具和平台

LLM 技术图谱（LLM Tech Map）的工具和平台部分主要包括以下几个方面：

• LLMOps：简单点说（大家当前在说的），就是“快速从大模型到应用”。
• 大模型聚合平台：汇聚大模型能力，提供服务。
• 开发工具：其它开发相关的 LLM 工具。

5.1 LLMOps

• BentoML
• LangChain
• Dify.ai
• Semantic Kernel
• Arize-Phoenix
• GPTCache
• Flowise

5.2 大模型聚合平台（☆）

• Gitee AI
• SOTA！模型
• 魔搭ModelScope
• Hugging Face

5.3 开发工具

• v0
• txtai
• Jina-AI
• Deco
• imgcook
• Quest AI
• CodiumAI
• Codeium Vim
• Project IDX
• MakerSuite

6.算力

LLM 模型的训练和部署需要大量的算力，算力是 LLM 技术发展的关键因素。

• 英伟达
• 昇腾
• AMD
• 海光
• 昆仑芯
• 天数智芯

大模型&AI产品经理如何学习

求大家的点赞和收藏，我花2万买的大模型学习资料免费共享给你们，来看看有哪些东西。

1.学习路线图

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

2.视频教程

网上虽然也有很多的学习资源，但基本上都残缺不全的，这是我自己整理的大模型视频教程，上面路线图的每一个知识点，我都有配套的视频讲解。

（都打包成一块的了，不能一一展开，总共300多集）

因篇幅有限，仅展示部分资料，需要点击下方图片前往获取

3.技术文档和电子书

这里主要整理了大模型相关PDF书籍、行业报告、文档，有几百本，都是目前行业最新的。

4.LLM面试题和面经合集

这里主要整理了行业目前最新的大模型面试题和各种大厂offer面经合集。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓