LLM技术全景图：技术人必备的技术指南，一张图带你掌握从基础设施到AI应用的全面梳理

最新推荐文章于 2024-07-23 16:40:54 发布
最新推荐文章于 2024-07-23 16:40:54 发布
阅读量905 收藏 8
点赞数 23
文章标签： 人工智能 langchain gpt 数据库 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_86188491/article/details/140525961
版权

LLM 技术图谱（LLM Tech Map）是将 LLM 相关技术进行系统化和图形化的呈现，此图谱主要特点是“专注于技术人视角”，不求从 LLM 产业角度汇聚信息，而是希望让从事相关工作或是想了解 LLM 的技术人有一个快速感知。

LLM 技术图谱（LLM Tech Map）从基础设施、大模型、Agent、AI 编程、工具和平台，以及算力几个方面，为开发者整理了当前 LLM 中最为热门和硬核的技术领域以及相关的软件产品和开源项目。

核心价值：帮助技术人快速了解 LLM 的核心技术和关键方向。

1.基础设施

LLM 技术图谱（LLM Tech Map）的基础设施部分主要包括以下几个方面：

  • 向量数据库：向量数据库是专门用于存储和检索向量数据的数据库，它可以为 LLM 提供高效的存储和检索能力。
  • 数据库向量支持：传统数据库通常不支持向量数据的存储和检索，数据库向量支持可以为传统数据库添加向量数据的存储和检索能力。
  • 大模型框架、微调 (Fine Tuning)：针对大模型的开发。
  • 大模型训练平台与工具

1.1向量数据库

  • Milvus
  • Pinecone
  • Weaviate
  • Chroma
  • Qdrant
  • Vespa
  • Vald
  • Faiss
  • ScaNN
  • Vearch
  • AquilaDB
  • Marqo
  • LanceDB
  • Annoy
  • NucliaDB
  • DeepLake
  • MongoDB

1.2数据库向量支持

  • pgvector
  • Redis Vector
  • Elastic
  • SingleStoreDB
  • Solr
  • OpenSearch
  • ClickHouse
  • Rockset
  • Cassandra
  • Lucene
  • Neo4j
  • Kinetica
  • Supabase
  • Timescale

1.3大模型框架、微调 (Fine Tuning)

  • OneFlow
  • LMFlow
  • LoRA
  • Alpaca-LoRA
  • PEFT
  • ChatGLM-Efficient-Tuning
  • LLaMA-Efficient-Tuning
  • P-tuning v2
  • OpenLLM
  • h2o-llmstudio
  • xTuring
  • finetuner
  • YiVal

1.4大模型训练平台与工具

  • Pytorch
  • BMtrain
  • colossalAI
  • Tensorflow
  • PaddlePaddle
  • MindSpore
  • Deepspeed
  • XGBoost
  • Transformers
  • Apache MXNet
  • Ray

2.大模型

LLM 技术图谱（LLM Tech Map）的大模型部分主要包括以下几个方面：

  • 备案上线的中国大模型：有牌照提供服务的大模型，需要注意的是大模型和相应的产品多半名称不同。
  • 知名大模型：在全球范围内，已经发布了多款知名大模型，这些大模型在各个领域都取得了突破性的进展。
  • 知名大模型应用：LLM 已经在多种应用场景中得到了应用，包括文本生成、机器翻译、问答、自然语言推理等。

2.1中国大模型

  • 文心一言
  • 云雀
  • GLM
  • 紫东太初
  • 百川
  • 日日新
  • ABAB 大模型
  • 书生通用大模型
  • 混元大模型

2.2知名大模型

  • Llama 2
  • OpenLLaMA
  • 百川
  • 通义大模型
  • 文心一言
  • StableLM
  • MOSS
  • Dolly
  • BLOOM
  • Falcon LLM
  • ChatGLM
  • PaLM 2
  • 盘古
  • GPT-4
  • Stable Diffusion
  • DALL·E 3

2.3 知名大模型应用

  • ChatGPT
  • Claude
  • Cursor
  • Mochi Diffusion
  • Midjourey
  • DragGAN
  • Bard
  • Bing

3.AI Agent（LLM Agent）

AI Agent是一种能够自主运作并完成特定任务的计算实体或程序。它能够通过传感器感知周围环境，并根据感知到的信息做出决策，然后通过执行器采取行动。LLM Agent 是指基于 LLM 技术构建的智能代理，它可以用于各种任务，比如让机器与 ChatGPT 交互，一层一层挖掘信息，自动化完成任务；比如由机器人构成的虚拟小镇。

  • 核心特点

    • 自主性：AI Agent具有独立思考和行动的能力，能够在没有人类直接指导的情况下完成任务。
    • 交互性：AI Agent能够与环境或其他Agent进行交互，这在游戏、对话系统、推荐系统等场景中尤为重要。
    • 目的性：AI Agent设计有明确的目标或意图，其行为是为了实现这些目标。
    • 适应性：AI Agent能够根据环境的变化调整自己的行为，以适应新的情境。
    • 进化性：随着技术的发展，AI Agent的功能和智能水平也在不断提升。

  • 技术特点

    • AI Agent与大模型的主要区别在于，大模型与人类之间的交互是基于prompt实现的，而AI Agent仅需给定一个目标，它就能够针对目标独立思考并做出行动。
    • AI Agent的核心驱动力是大模型，并在此基础上增加了规划（Planning）、记忆（Memory）和工具使用（Tool Use）三个关键组件。

  • 类型从工作模式来看，AI Agent可以分为以下三种类型：

    • 单Agent：侧重于执行单一任务或一系列相关任务，且不需要与其他智能体进行交互。
    • 多Agent：涉及多个智能体之间的协作和交互，以完成更复杂的任务。
    • 混合Agent（人机交互Agent）：结合了人类和智能体的交互，以实现更高效的任务执行。

  • Rivet

  • JARVIS

  • MetaGPT

  • AutoGPT

  • BabyAGI

  • NexusGPT

  • Generative Agents

  • Voyager

  • GPTeam

  • GPT Researcher

  • Amazon Bedrock Agents

4.AI 编程

AI编程是指利用计算机编程语言和技术来创建、训练和优化人工智能算法的过程。它涵盖了数据的收集、清洗、转换以及算法的选择和应用。AI编程是构建未来智能系统的关键，通过模拟人类智能的能力，使计算机能够执行类似于人类的决策和任务。编程语言如Python因其强大的数据处理库和简洁的语法，成为AI编程的常用工具。

  • codeium.vim
  • Cursor
  • GitHub Copilot
  • Comate
  • StableCode
  • CodeGeeX
  • TabbyML
  • CodeArts Snap
  • Code Llama
  • CodeFuse
  • 姜子牙
  • CodeShell

5.工具和平台

LLM 技术图谱（LLM Tech Map）的工具和平台部分主要包括以下几个方面：

  • LLMOps：简单点说（大家当前在说的），就是“快速从大模型到应用”。
  • 大模型聚合平台：汇聚大模型能力，提供服务。
  • 开发工具：其它开发相关的 LLM 工具。

5.1 LLMOps

  • BentoML
  • LangChain
  • Dify.ai
  • Semantic Kernel
  • Arize-Phoenix
  • GPTCache
  • Flowise

5.2 大模型聚合平台（☆）

  • Gitee AI
  • SOTA！模型
  • 魔搭ModelScope
  • Hugging Face

5.3 开发工具

  • v0
  • txtai
  • Jina-AI
  • Deco
  • imgcook
  • Quest AI
  • CodiumAI
  • Codeium Vim
  • Project IDX
  • MakerSuite

6.算力

LLM 模型的训练和部署需要大量的算力，算力是 LLM 技术发展的关键因素。

  • 英伟达
  • 昇腾
  • AMD
  • 海光
  • 昆仑芯
  • 天数智芯

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

在这里插入图片描述

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

img

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

在这里插入图片描述

四、AI大模型商业化落地方案

img

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。
  • 内容：
    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
      - L1.4.1 知识大模型
      - L1.4.2 生产大模型
      - L1.4.3 模型工程方法论
      - L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
  • 内容：
    • L2.1 API接口
      - L2.1.1 OpenAI API接口
      - L2.1.2 Python接口接入
      - L2.1.3 BOT工具类框架
      - L2.1.4 代码示例
    • L2.2 Prompt框架
      - L2.2.1 什么是Prompt
      - L2.2.2 Prompt框架应用现状
      - L2.2.3 基于GPTAS的Prompt框架
      - L2.2.4 Prompt框架与Thought
      - L2.2.5 Prompt框架与提示词
    • L2.3 流水线工程
      - L2.3.1 流水线工程的概念
      - L2.3.2 流水线工程的优点
      - L2.3.3 流水线工程的应用
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
  • 内容：
    • L3.1 Agent模型框架
      - L3.1.1 Agent模型框架的设计理念
      - L3.1.2 Agent模型框架的核心组件
      - L3.1.3 Agent模型框架的实现细节
    • L3.2 MetaGPT
      - L3.2.1 MetaGPT的基本概念
      - L3.2.2 MetaGPT的工作原理
      - L3.2.3 MetaGPT的应用场景
    • L3.3 ChatGLM
      - L3.3.1 ChatGLM的特点
      - L3.3.2 ChatGLM的开发环境
      - L3.3.3 ChatGLM的使用示例
    • L3.4 LLAMA
      - L3.4.1 LLAMA的特点
      - L3.4.2 LLAMA的开发环境
      - L3.4.3 LLAMA的使用示例
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
  • 内容：
    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

学习计划：

  • 阶段1：1-2个月，建立AI大模型的基础知识体系。
  • 阶段2：2-3个月，专注于API应用开发能力的提升。
  • 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
  • 阶段4：4-5个月，专注于高级模型的应用和部署。
这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓

在这里插入图片描述

喝不喝葡萄柚绿
关注
  • 23
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Agent : 一文读懂LLM Agent架构，详解Profile，Memory，Planning，Action模块作用
人工智能曾小健
11-05 5567
对于对Agent感兴趣的朋友们，我推荐一篇论文，它全面地介绍了Agent的架构，对于理解Agent的全局有着重要的价值。架构就像PC的硬件，但仅依赖架构设计是不够的，我们还需要赋予Agent完成不同任务的能力，这些被视为“软件”资源。除了这些基础知识，我认为最有价值的部分在于，它总结了基于大型语言模型（LLM）的Agent的架构，使我们能够按照一定的标准范式去设计自己的Agent。反馈的来源可能来自任务执行结果的客观反馈，也可能是根据人的主观判断给出的反馈，甚至还可以是由辅助模型提供的反馈。
LLM（大语言模型）和AIGC入门学习路线图
aolan123的博客
05-09 888
大模型是指网络规模庞大的深度学习模型，其参数量通常在千亿级别。学习大模型需要具备计算机基础，这一点非常重要！要系统地入门大模型，首先需要学习深度学习的基础知识，包括神经网络（NN）、卷积神经网络（CNN）和循环神经网络（RNN）等。在学习完基础知识后，你可以借助开源算法来学习如何使用大模型进行自然语言处理任务。目前有很多大模型开源算法可供学习和使用。你可以选择一些经典的大模型算法，如BERT、GPT-2和Transformer等，通过阅读相关的论文和代码实现来深入了解它们的工作原理和应用场景。
LLM学习：大模型架构要点总结
m0_59163425的博客
04-11 1412
LLM本身基于transformer架构。通常认为参数量超过10B的模型为大语言模型。由于参数量巨大，需要的训练数据量也极多，因此目前大部分的使用方式为：大公司整理大量常用数据集，训练一个各方面性能还不错的通用大模型，小公司在此通用模型上搜集小规模行业数据进行微调，最终得到行业专有模型/领域模型。当然，如果通用模型能直接拥有各行业知识是最好的，但以目前的数据量和算力等还未达到效果。
LLM 应用参考架构：ArchGuard Co-mate 实践示例
Phodal's zenthink
06-27 1043
随着，对于 LLM 应用于架构领域探索的进一步深入，以及 ArchGuard Co-mate 开发进入深入区，我们发现越来越多的通用模式。在先前的文章里，我们总结了一系列的设计原则，在这篇文章里，我们将介绍 ArchGuard Co-mate 与参考架构的实践。开始之前，可以先看看 ArchGuard Co-mate 的演示视频：LLM 应用参考架构结合我们在一些 LLM PoC 项目的经验，以及...
LLM推理框架Triton Inference Server学习笔记(一): Triton Inference Server整体架构初识
Miracle8070
03-11 2333
这篇文章开始进行大语言模型(Large Language Model, LLM)的学习笔记整理，这次想从Triton Inference Server框架开始，因为最近工作上用到了一些大模型部署方面的知识， 所以就快速补充了些，大模型这块， 属于是从用户使用触发，先把模型部署上来, 把整个业务流程走顺，让用户先能用起来，然后再深入到模型本身的细节中去哈哈。Triton Inference Server是Nvida开源的机器学习推理引擎，提供了非常多实用的功能帮助我们快速落地AI模型到生产环境以提供业务使用。
题解 | #查找两个字符串a,b中的最长公共子串# 哈希
华鑫的专栏
06-23 775
那个将来好就业一点呢。我同门是学人精吗，怎么我干嘛她就干嘛，有病吧，她哪怕要学我别问我别让我知道啊，tmd老子再去实验室老。FPGA入门小白，女生，bg:本科211通信 研究生985电子信息两个FPGA项目，关于高速通信，属。7月准备入职深圳福田荣耀，求个24届新员工组织，希望能找到一些志同道合的友友，一起交流交流信息，包括。#牛客福利打卡##我的求职思考#我觉得找工作还是要看自己到底喜欢什么，是高薪，还是稳定，是良好的发展。距离面试已经许久，也许是我自己小心眼，又或许真是被恶心到了，觉得不吐不快。
LLM 技术图谱（LLM Tech Map）是将 LLM 相关技术进行系统化和图形化的呈现，此图谱主要特点是“专注于技术人视角”
10-17
LLM 技术图谱（LLM Tech Map...LLM 技术图谱（LLM Tech Map）从基础设施、大模型、Agent、AI 编程、工具和平台，以及算力几个方面，为开发者整理了当前 LLM 中最为热门和硬核的技术领域以及相关的软件产品和开源项目。
2023（2024初）中国开源开发者报告 LLM技术报告.pdf
05-15
大语言模型（LLM） 技术作为人工智能领域的一项重要创 新在今年引起了广泛的关注。 LLM 是利用深度学习和大数据训练的人工智能系统，专门 设计来理解、生成和回应自然语言。这些模型通过分析大量 的文本数据来学习...
通向AGI之路：大型语言模型（LLM）技术精要 - 知乎.pdf
05-18
ChatGPT是LLM技术的一种应用，ChatGPT的出现惊喜和惊醒了许多人，引发了对LLM技术的讨论和思考。 五、In Context Learning In Context Learning是一种LLM技术，能够学习海量数据，并存取这些知识。In Context ...
学习笔记：从零开始了解AI大模型 - 技术篇：万字深度好文人话说大模型技术
09-20
本文将带您深入了解AI大模型的技术世界，从零开始了解大模型的核心技术。AI大模型是机器学习的瑰宝，蕴含着“预训练”和“大模型”两大精粹元素。该模型在大规模数据集上经过预先磨砺，免去了繁琐的微调过程，甚至只...
大模型技术文章精选：一个涵盖图神经网络、大型语言模型（LLM）和凸优化等技术领域的文章集合
04-04
图神经网络（GNN）是近年来在机器学习领域发展迅速的一种技术，主要应用于处理图数据。GNN将图的节点和边作为输入，通过信息传播和聚合操作来学习每个节点的表示，从而捕获图的拓扑结构和节点特征。在社交网络分析、...
详解各种LLM系列｜LLaMA 1 模型架构、预训练、部署优化特点总结
Kaiyuan_sjtu的博客
02-06 2921
作者|Sunnyyyyy整理|NewBeeNLPhttps://zhuanlan.zhihu.com/p/668698204后台留言『交流』，加入 NewBee讨论组LLaMA 是Meta在2023年2月发布的一系列从 7B到 65B 参数的基础语言模型。LLaMA作为第一个向学术界开源的模型，在大模型爆发的时代具有标志性的意义。为了更深入地理解LLaMA的技术特点，特地在此整理了LLa...
随机数种子的作用
帆的博客
07-23 598
设置随机数种子（random seed）的目的是为了确保随机数生成器在每次运行时产生相同的随机数序列，从而保证实验结果的一致性。随机数种子通过初始化随机数生成器的内部状态，使得在相同的种子值下，随机数生成器每次调用时生成的序列是相同的。
GPU算力：驱动现代计算的引擎
UnityBoy的博客
07-22 348
在当今的计算密集型应用中，GPU（图形处理单元）算力已成为推动科学计算、人工智能、数据分析等领域发展的关键因素。GPU最初设计用于处理复杂的图形和图像任务，但随着技术的进步，它们已经演变为通用并行计算的强有力工具。本文将探讨GPU算力的基本概念、重要性、应用场景以及如何充分利用GPU算力。
【保姆级教程】跑通YOLOv8-multi-task多任务模型
m0_51579041的博客
07-23 112
【保姆级教程】跑通YOLOv8-multi-task多任务模型
大模型面经
weixin_43744732的博客
07-19 1269
大模型，面试，八股文
概率模拟（sigmoid、softmax）
最新发布
MechMaster
07-23 571
sigmoid、softmax
嵌入式人工智能（13-基于树莓派4B的指纹识别-AS608）
u010152658的博客
07-20 1003
AS608的接线头有防呆口，插上即可，只用到4根线，VCC接USBToTTL的VCC（注意这里要接3.3V，否则容易损坏，将黄色的跳线帽连接5V与VCC引脚，AS608插到3.3上面），AS608的GND接USBToTTL的GND，AS608的TX接USBToTTL的RXD，AS608的RX接USBToTTL的TXD。每个人的指纹纹路都是独一无二的，通过将指纹与事先存储的指纹数据库进行比对，可以确定是否为同一人。(2)高像素：采用高像素的光学传感器，能够捕捉到丰富的指纹信息，提高指纹识别的精确度。
PaddlePaddle
07-27
PaddlePaddle是一个开源的深度学习平台，可以用于构建和训练深度学习模型。如果你想使用PaddlePaddle，可以通过源码编译的方式来安装。首先，你需要在Git Bash中执行以下两条命令来将PaddlePaddle的源码克隆到本地，并进入Paddle目录： ``` git clone https://github.com/PaddlePaddle/Paddle.git cd Paddle ``` 接下来，你可以根据自己的需求进行编译。如果你使用的是Windows系统，可以使用源码编译来安装符合你需求的PaddlePaddle版本。具体的编译步骤可以参考官方文档中的Windows下源码编译部分\[2\]。 如果你想在docker镜像中编译PaddlePaddle，可以使用以下命令启动docker镜像并进行编译。如果你需要编译CPU版本，可以使用以下命令： ``` sudo docker run --name paddle-test -v $PWD:/paddle --network=host -it hub.baidubce.com/paddlepaddle/paddle:latest-dev /bin/bash ``` 如果你需要编译GPU版本，可以使用以下命令： ``` sudo nvidia-docker run --name paddle-test -v $PWD:/paddle --network=host -it hub.baidubce.com/paddlepaddle/paddle:latest-dev /bin/bash ``` 以上是关于使用源码编译PaddlePaddle的一些基本步骤和命令。你可以根据自己的需求和操作系统选择适合的方式来安装PaddlePaddle。 #### 引用[.reference_title] - *1* *2* *3* [《PaddlePaddle从入门到炼丹》一——新版本PaddlePaddle的安装](https://blog.csdn.net/qq_33200967/article/details/83052060)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值