LLM技术全景图：技术人必备的技术指南，一张图带你掌握从基础设施到AI应用的全面梳理

于 2024-06-29 20:20:55 发布
阅读量839 收藏 27
点赞数 20
文章标签： 人工智能 langchain 开源 数据分析 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_59235699/article/details/140069898
版权

LLM技术全景图：技术人必备的技术指南，一张图带你掌握从基础设施到AI应用的全面梳理

LLM 技术图谱（LLM Tech Map）是将 LLM 相关技术进行系统化和图形化的呈现，此图谱主要特点是“专注于技术人视角”，不求从 LLM 产业角度汇聚信息，而是希望让从事相关工作或是想了解 LLM 的技术人有一个快速感知。

LLM 技术图谱（LLM Tech Map）从基础设施、大模型、Agent、AI 编程、工具和平台，以及算力几个方面，为开发者整理了当前 LLM 中最为热门和硬核的技术领域以及相关的软件产品和开源项目。

核心价值：帮助技术人快速了解 LLM 的核心技术和关键方向。

1.基础设施

LLM 技术图谱（LLM Tech Map）的基础设施部分主要包括以下几个方面：

  • 向量数据库：向量数据库是专门用于存储和检索向量数据的数据库，它可以为 LLM 提供高效的存储和检索能力。

  • 数据库向量支持：传统数据库通常不支持向量数据的存储和检索，数据库向量支持可以为传统数据库添加向量数据的存储和检索能力。

  • 大模型框架、微调 (Fine Tuning)：针对大模型的开发。

  • 大模型训练平台与工具

1.1向量数据库

  • Milvus

  • Pinecone

  • Weaviate

  • Chroma

  • Qdrant

  • Vespa

  • Vald

  • Faiss

  • ScaNN

  • Vearch

  • AquilaDB

  • Marqo

  • LanceDB

  • Annoy

  • NucliaDB

  • DeepLake

  • MongoDB

1.2数据库向量支持

  • pgvector

  • Redis Vector

  • Elastic

  • SingleStoreDB

  • Solr

  • OpenSearch

  • ClickHouse

  • Rockset

  • Cassandra

  • Lucene

  • Neo4j

  • Kinetica

  • Supabase

  • Timescale

1.3大模型框架、微调 (Fine Tuning)

  • OneFlow

  • LMFlow

  • LoRA

  • Alpaca-LoRA

  • PEFT

  • ChatGLM-Efficient-Tuning

  • LLaMA-Efficient-Tuning

  • P-tuning v2

  • OpenLLM

  • h2o-llmstudio

  • xTuring

  • finetuner

  • YiVal

1.4大模型训练平台与工具

  • Pytorch

  • BMtrain

  • colossalAI

  • Tensorflow

  • PaddlePaddle

  • MindSpore

  • Deepspeed

  • XGBoost

  • Transformers

  • Apache MXNet

  • Ray

2.大模型

LLM 技术图谱（LLM Tech Map）的大模型部分主要包括以下几个方面：

  • 备案上线的中国大模型：有牌照提供服务的大模型，需要注意的是大模型和相应的产品多半名称不同。

  • 知名大模型：在全球范围内，已经发布了多款知名大模型，这些大模型在各个领域都取得了突破性的进展。

  • 知名大模型应用：LLM 已经在多种应用场景中得到了应用，包括文本生成、机器翻译、问答、自然语言推理等。

2.1中国大模型

  • 文心一言

  • 云雀

  • GLM

  • 紫东太初

  • 百川

  • 日日新

  • ABAB 大模型

  • 书生通用大模型

  • 混元大模型

2.2知名大模型

  • Llama 2

  • OpenLLaMA

  • 百川

  • 通义大模型

  • 文心一言

  • StableLM

  • MOSS

  • Dolly

  • BLOOM

  • Falcon LLM

  • ChatGLM

  • PaLM 2

  • 盘古

  • GPT-4

  • Stable Diffusion

  • DALL·E 3

2.3 知名大模型应用

  • ChatGPT

  • Claude

  • Cursor

  • Mochi Diffusion

  • Midjourey

  • DragGAN

  • Bard

  • Bing

3.AI Agent（LLM Agent）

AI Agent是一种能够自主运作并完成特定任务的计算实体或程序。它能够通过传感器感知周围环境，并根据感知到的信息做出决策，然后通过执行器采取行动。LLM Agent 是指基于 LLM 技术构建的智能代理，它可以用于各种任务，比如让机器与 ChatGPT 交互，一层一层挖掘信息，自动化完成任务；比如由机器人构成的虚拟小镇。

  • 核心特点

  • 自主性：AI Agent具有独立思考和行动的能力，能够在没有人类直接指导的情况下完成任务。

  • 交互性：AI Agent能够与环境或其他Agent进行交互，这在游戏、对话系统、推荐系统等场景中尤为重要。

  • 目的性：AI Agent设计有明确的目标或意图，其行为是为了实现这些目标。

  • 适应性：AI Agent能够根据环境的变化调整自己的行为，以适应新的情境。

  • 进化性：随着技术的发展，AI Agent的功能和智能水平也在不断提升。

  • 技术特点

  • AI Agent与大模型的主要区别在于，大模型与人类之间的交互是基于prompt实现的，而AI Agent仅需给定一个目标，它就能够针对目标独立思考并做出行动。

  • AI Agent的核心驱动力是大模型，并在此基础上增加了规划（Planning）、记忆（Memory）和工具使用（Tool Use）三个关键组件。

  • 类型从工作模式来看，AI Agent可以分为以下三种类型：

  • 单Agent：侧重于执行单一任务或一系列相关任务，且不需要与其他智能体进行交互。

  • 多Agent：涉及多个智能体之间的协作和交互，以完成更复杂的任务。

  • 混合Agent（人机交互Agent）：结合了人类和智能体的交互，以实现更高效的任务执行。

  • Rivet

  • JARVIS

  • MetaGPT

  • AutoGPT

  • BabyAGI

  • NexusGPT

  • Generative Agents

  • Voyager

  • GPTeam

  • GPT Researcher

  • Amazon Bedrock Agents

4.AI 编程

AI编程是指利用计算机编程语言和技术来创建、训练和优化人工智能算法的过程。它涵盖了数据的收集、清洗、转换以及算法的选择和应用。AI编程是构建未来智能系统的关键，通过模拟人类智能的能力，使计算机能够执行类似于人类的决策和任务。编程语言如Python因其强大的数据处理库和简洁的语法，成为AI编程的常用工具。

  • codeium.vim

  • Cursor

  • GitHub Copilot

  • Comate

  • StableCode

  • CodeGeeX

  • TabbyML

  • CodeArts Snap

  • Code Llama

  • CodeFuse

  • 姜子牙

  • CodeShell

5.工具和平台

LLM 技术图谱（LLM Tech Map）的工具和平台部分主要包括以下几个方面：

  • LLMOps：简单点说（大家当前在说的），就是“快速从大模型到应用”。

  • 大模型聚合平台：汇聚大模型能力，提供服务。

  • 开发工具：其它开发相关的 LLM 工具。

5.1 LLMOps

  • BentoML

  • LangChain

  • Dify.ai

  • Semantic Kernel

  • Arize-Phoenix

  • GPTCache

  • Flowise

5.2 大模型聚合平台（☆）

  • Gitee AI

  • SOTA！模型

  • 魔搭ModelScope

  • Hugging Face

5.3 开发工具

  • v0

  • txtai

  • Jina-AI

  • Deco

  • imgcook

  • Quest AI

  • CodiumAI

  • Codeium Vim

  • Project IDX

  • MakerSuite

6.算力

LLM 模型的训练和部署需要大量的算力，算力是 LLM 技术发展的关键因素。

  • 英伟达

  • 昇腾

  • AMD

  • 海光

  • 昆仑芯

  • 天数智芯

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么？
  • 大模型是怎样获得「智能」的？
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例：向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示（Embeddings）
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2：手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身：基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例：如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

江湖人称麻花滕
关注
LLM 技术图谱（LLM Tech Map）是将 LLM 相关技术进行系统化和图形化的呈现，此图谱主要特点是“专注于技术人视角”
10-17
LLM 技术图谱（LLM Tech Map...LLM 技术图谱（LLM Tech Map）从基础设施、大模型、Agent、AI 编程、工具和平台，以及算力几个方面，为开发者整理了当前 LLM 中最为热门和硬核的技术领域以及相关的软件产品和开源项目。
人工智能的新篇章：深入了解大型语言模型(LLM)的应用与前景
丨汀、的博客
12-04 3509
人工智能的新篇章：深入了解大型语言模型(LLM)的应用与前景
什么是LLM？看这一篇就够了！
python1222_的博客
06-18 1万+
自从2022年12月 ChatGPT 横空面世以来，AI 领域获得了十足的关注和资本，其实AI的概念在早些年也火过一波，本轮 AI 热潮相比于之前的 AI，最大的区别在于：生成式。本文主要介绍大语言模型（Large Language Model，简称LLM）。通过海量文本训练的、能识别人类语言、执行语言类任务、拥有大量参数的模型，称之为大语言模型。
通俗易懂的LLM（上篇）
热门推荐
qq_39439006的博客
06-06 1万+
2022年年底OpenAI发布ChatGPT，将LLM（Large Language Model）带向了一个新的高度，而2023年OpenAI继续放出大招：更强大的GPT-4问世，引爆了整个互联网圈。在这个大模型时代，作为一名NLPer，持续吸收着层出不穷的新技术，确实有些吃不消。俗话说，好记性不如烂笔头，在此记录下LLM相关技术及进展。顺便说一句，你可以说它不全面，但不能说它不通俗易懂。GPT系列模型详解【LLM系列-01】Language Models are Few-Shot Learners。
【大模型应用开发教程】01_大模型简介
KEEP的博客
10-15 1360
大语言模型（英文：Large Language Model，缩写LLM），也称大型语言模型，是一种人工智能模型，旨在理解和生成人类语言。 通常，大语言模型 (LLM) 指包含数百亿（或更多）参数的语言模型，这些模型在大量的文本数据上进行训练，例如国外的有GPT-3 、GPT-4、PaLM 、Galactica 和 LLaMA 等，国内的有ChatGLM、文心一言、通义千问、讯飞星火等。
2024生成式AI技术实践峰会（脱敏）PPT合集（22份）.zip
最新发布
09-28
2024生成式AI技术实践峰会（脱敏）PPT合集，共22份。 面向生成式AI的向量数据库:架构，性能与未来趋势.pdf 增强AI能力的Agent实践RAG与Tool Use的协同效应.pdf 拥抱大模型时代，构建新时代数字员工.pdf 腾讯游戏知...
2023（2024初）中国开源开发者报告 LLM技术报告.pdf
05-15
### LLM技术报告核心知识点解析 ...综上所述，LLM技术作为人工智能领域的重要创新，已经在多个方面展现出巨大潜力和发展前景。随着技术的不断进步和完善，相信未来LLM将在更广泛的领域内发挥更大的价值。
The Document is All You Need！一站式 LLM底层技术原理入门指南.pdf
07-29
The Document is All You Need！一站式 LLM底层技术原理入门指南
通向AGI之路：大型语言模型（LLM）技术精要 - 知乎.pdf
05-18
ChatGPT是LLM技术的一种应用，ChatGPT的出现惊喜和惊醒了许多人，引发了对LLM技术的讨论和思考。 五、In Context Learning In Context Learning是一种LLM技术，能够学习海量数据，并存取这些知识。In Context ...
LLM技术发展及在垂直领域中如何应用-经验学习大全
weixin_44077556的博客
07-24 9633
语言建模（LM)是提高机器语言智能的主要方法之一。一般来说，LM旨在对词序列的生成概率进行建模，以预测未来tokens的概率。: 起源于 20世纪90年代。其基本思想是基于马尔可夫假设建立词预测模型，由于需要估计指数级数量的转换概率，因此很难准确估计高阶语言模型。因此需要专门设计平滑策略，如回退估计和古德图灵估计被引入以缓解数据稀疏问题。: 通过神经网络，如循环神经网络（RNN）,来描述单词序列 的概率。作为一个显著贡献。工作引入了词的分布式表示这一概念，并在聚合上下文特征的条件下构建词预测函数。
Agent : 一文读懂LLM Agent架构，详解Profile，Memory，Planning，Action模块作用
人工智能曾小健
11-05 7593
对于对Agent感兴趣的朋友们，我推荐一篇论文，它全面地介绍了Agent的架构，对于理解Agent的全局有着重要的价值。架构就像PC的硬件，但仅依赖架构设计是不够的，我们还需要赋予Agent完成不同任务的能力，这些被视为“软件”资源。除了这些基础知识，我认为最有价值的部分在于，它总结了基于大型语言模型（LLM）的Agent的架构，使我们能够按照一定的标准范式去设计自己的Agent。反馈的来源可能来自任务执行结果的客观反馈，也可能是根据人的主观判断给出的反馈，甚至还可以是由辅助模型提供的反馈。
LLM 大模型技术图谱（LLM Tech Map）
sunzhuan158的博客
10-26 297
LLM 技术图谱（LLM Tech Map）是将 LLM 相关技术进行系统化和图形化的呈现，此图谱主要特点是“专注于技术人视角”，不求从 LLM 产业角度汇聚信息，而是希望让从事相关工作或是想了解 LLM 的技术人有一个快速感知。LLM 技术图谱（LLM Tech Map）从基础设施、大模型、Agent、AI 编程、工具和平台，以及算力几个方面，为开发者整理了当前 LLM 中最为热门和硬核的技术领域以及相关的软件产品和开源项目。LLM 模型的训练和部署需要大量的算力，算力是 LLM 技术发展的关键因素。
知识图谱实战导论：从什么是KG到LLM与KG/DB的结合实战
结构之法 算法之道
09-16 8827
DB-GPT基于 FastChat 构建大模型运行环境，并提供 vicuna 作为基础的大语言模型。此外，通过LangChain提供私域知识库问答能力，且有统一的数据向量化存储与索引：提供一种统一的方式来存储和索引各种数据类型，同时支持插件模式，在设计上原生支持Auto-GPT插件，具备以下功能或能力根据自然语言对话生成分析图表、生成SQL与数据库元数据信息进行对话, 生成准确SQL语句与数据对话, 直接查看执行结果。
LLM介绍
qq_62971982的博客
04-17 7576
ChatGPT 的巨大成功激发了越来越多的开发者兴趣，他们希望利用 OpenAI 提供的 API 或者私有化模型，来开发基于大型语言模型的应用程序。尽管大型语言模型的调用相对简单，但要创建完整的应用程序，仍然需要大量的定制开发工作，包括 API 集成、互动逻辑、数据存储等等。为了解决这个问题，从 2022 年开始，许多机构和个人相继推出了多个开源项目，旨在帮助开发者们快速构建基于大型语言模型的端到端应用程序或工作流程。其中一个备受关注的项目就是 LangChain 框架。
关于 LLM 和图数据库、知识图谱的那些事
weixin_44324814的博客
08-16 1177
本文着重介绍了 LLM、RAG、Graph 是什么，以及 LLM 如何同知识图谱结合，让知识抽取更加便利。此外，还讲述了一些 LLM 在数据库领域的应用场景，比如：用自然语言查询数据。
大语言模型(LLMs)和新兴机器学习技术栈
Baihai_IDP的博客
03-20 1911
过去，NLP开发人员依赖于文本分类、命名实体识别和命名实体消歧等技术栈来优化NLP任务。然而，随着大语言模型(LLM)的快速发展，新的技术栈开始出现，以支持和加速这些大型语言模型的实现和应用。 让我们一起跟随Langchain的开发者，共同探讨LLM及NLP技术栈正在发生的变化，以及这一系列变化对开发者的意义
首创！最全面的LLM大模型技术知识图谱！快来领取！
musicml的博客
01-06 681
▼最近直播超级多，预约保你有收获近期直播：《LLM推理架构设计和部署落地实战》—1—LLM 大模型技术知识图谱LLM 大模型技术体系是相对比较复杂的，如何构建一条清晰的学习路径对每一个 IT 同学都是非常重要的，我们梳理了下 LLM 大模型的知识图谱，主要包括12项核心技能：算力、大模型内核架构、大模型开发 API、开发框架、缓存、AI Agent、大模型预训练、大模型微调、RAG、向量数据库、...
Transformer模型引领AI生态革命：从技术到产品化应用的探索
这表明AI技术正在对整个科技产业链产生深远影响，从软件到硬件，都在积极适应和融入Transformer引领的AI生态。 Transformer模型的出现标志着AI发展的一个新时代，它正在逐步渗透到各行各业，塑造一个更加智能、多元...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值