LLM Tech Map（LLM 技术图谱）

已于 2024-09-06 10:14:14 修改
阅读量486 收藏 7
点赞数 9
分类专栏： AI开源 文章标签： ai
于 2024-09-06 10:13:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yuanmomoya/article/details/141952491
版权

分享一些LLM的相关技术图谱

基础设施

向量数据库

  • Milvus
  • Pinecone
  • Weaviate
  • Chroma
  • Qdrant
  • Vespa
  • Vald
  • Faiss
  • ScaNN
  • Vearch
  • AquilaDB
  • Marqo
  • LanceDB
  • Annoy
  • NucliaDB
  • DeepLake
  • MongoDB

数据库向量支持

  • pgvector
  • Redis Vector
  • Elastic
  • SingleStoreDB
  • Solr
  • OpenSearch
  • ClickHouse
  • Rockset
  • Cassandra
  • Lucene
  • Neo4j
  • Kinetica
  • Supabase
  • Timescale

大模型框架、微调 (Fine Tuning)

  • OneFlow
  • LMFlow
  • LoRA
  • Alpaca-LoRA
  • PEFT
  • ChatGLM-Efficient-Tuning
  • LLaMA-Efficient-Tuning
  • P-tuning v2
  • OpenLLM
  • h2o-llmstudio
  • xTuring
  • finetuner
  • YiVal

大模型训练平台与工具

  • Pytorch
  • BMtrain
  • colossalAI
  • Tensorflow
  • PaddlePaddle
  • MindSpore
  • Deepspeed
  • XGBoost
  • Transformers
  • Apache MXNet
  • Ray

大模型

备案上线的中国大模型

  • 文心一言
  • 云雀
  • GLM
  • 紫东太初
  • 百川
  • 日日新
  • ABAB 大模型
  • 书生通用大模型
  • 混元大模型

知名大模型

  • Llama 2
  • OpenLLaMA
  • 百川
  • 通义大模型
  • 文心一言
  • StableLM
  • MOSS
  • Dolly
  • BLOOM
  • Falcon LLM
  • ChatGLM
  • PaLM 2
  • 盘古
  • GPT-4
  • Stable Diffusion
  • DALL·E 3

知名大模型应用

  • ChatGPT
  • Claude
  • Cursor
  • Mochi Diffusion
  • Midjourey
  • DragGAN
  • Bard
  • Bing

AI Agent (LLM Agent)

  • Rivet
  • JARVIS
  • MetaGPT
  • AutoGPT
  • BabyAGI
  • NexusGPT
  • Generative Agents
  • Voyager
  • GPTeam
  • GPT Researcher
  • Amazon Bedrock Agents

AI 编程

  • codeium.vim
  • Cursor
  • GitHub Copilot
  • Comate
  • StableCode
  • CodeGeeX
  • TabbyML
  • CodeArts Snap
  • Code Llama
  • CodeFuse
  • 姜子牙
  • CodeShell

工具和平台

LLMOps

  • BentoML
  • LangChain
  • Dify.ai
  • Semantic Kernel
  • Arize-Phoenix
  • GPTCache
  • Flowise

大模型聚合平台

  • Gitee AI
  • SOTA！模型
  • 魔搭ModelScope
  • Hugging Face

开发工具

  • v0
  • txtai
  • Jina-AI
  • Deco
  • imgcook
  • Quest AI
  • CodiumAI
  • Codeium Vim
  • Project IDX
  • MakerSuite

算力

  • 英伟达
  • 昇腾
  • AMD
  • 海光
  • 昆仑芯
  • 天数智芯

参考开源中国

救救孩子把
关注
  • 9
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
LLM 大模型技术图谱（LLM Tech Map）
sunzhuan158的博客
10-26 280
LLM 技术图谱（LLM Tech Map）是将 LLM 相关技术进行系统化和图形化的呈现，此图谱主要特点是“专注于技术人视角”，不求从 LLM 产业角度汇聚信息，而是希望让从事相关工作或是想了解 LLM 的技术人有一个快速感知。LLM 技术图谱（LLM Tech Map）从基础设施、大模型、Agent、AI 编程、工具和平台，以及算力几个方面，为开发者整理了当前 LLM 中最为热门和硬核的技术领域以及相关的软件产品和开源项目。LLM 模型的训练和部署需要大量的算力，算力是 LLM 技术发展的关键因素。
大语言模型应用指南：人工智能的起源
程序员光剑
07-26 319
人工智能，这一曾经只存在于科幻小说中的概念，如今正以惊人的速度走进现实，深刻地改变着我们的世界。从自动驾驶汽车到智能语音助手，从医疗诊断到金融交易，人工智能的应用已经渗透到各个领域，为人类社会带来了前所未有的机遇和挑战。在人工智能发展的漫长历史中，大语言模型（Large Language Model, LLM）的出现无疑是一个重要的里程碑。它们是基于深度学习技术构建的巨型神经网络，能够理解和生成人类语言，并在各种任务中展现出惊人的能力。
LLM Tech Map 大模型技术图谱
十年互联网开发老兵，陪你一起学技术
10-18 76
分享一个LLM Tech Map 大模型技术图谱 从基础设施、大模型、Agent、AI 编程、工具和平台，以及算力几个方面，为开发者整理了当前 LLM 中最为热门和硬核的技术领域以及相关的软件产品和开源项目。 核心价值：帮助技术人快速了解 LLM 的核心技术和关键方向。...
LLM 技术图谱（LLM Tech Map）& Kubernetes (K8s) 与AIGC的结合应用
tigerhhzz的博客
03-11 1090
LLM 技术图谱（LLM Tech Map）是将 LLM 相关技术进行系统化和图形化的呈现，此图谱主要特点是“专注于技术人视角”，不求从 LLM 产业角度汇聚信息，而是希望让从事相关工作或是想了解 LLM 的技术人有一个快速感知。LLM 技术图谱（LLM Tech Map）从基础设施、大模型、Agent、AI 编程、工具和平台，以及算力几个方面，为开发者整理了当前 LLM 中最为热门和硬核的技术领域以及相关的软件产品和开源项目。核心价值：帮助技术人快速了解 LLM 的核心技术和关键方向。
LLM技术全景图：技术人必备的技术指南，一张图带你掌握从基础设施到AI应用的全面梳理
2401_85325397的博客
07-23 909
LM 技术图谱（LLM Tech Map）是将 LLM 相关技术进行系统化和图形化的呈现，此图谱主要特点是“**专注于技术人视角**”，不求从 LLM 产业角度汇聚信息，而是希望让从事相关工作或是想了解 LLM 的技术人有一个快速感知。 LLM 技术图谱（LLM Tech Map）从基础设施、大模型、Agent、AI 编程、工具和平台，以及算力几个方面，为开发者整理了当前 LLM 中最为热门和硬核的技术领域以及相关的软件产品和开源项目。
【LLM大模型】指令微调、peft高效参数微调
热门推荐
发现问题，并解决问题，批判性思维
05-07 1万+
LLaMA 是 Meta AI 发布的包含 7B、13B、33B 和 65B 四种参数规模的基础语言模型集合，LLaMA-13B 仅以 1/10 规模的参数在多数的 benchmarks 上性能优于 GPT-3(175B)，LLaMA-65B 与业内最好的模型 Chinchilla-70B 和 PaLM-540B 比较也具有竞争力。通过使用与 ChatGLM（chatglm.cn）相同的技术，ChatGLM-6B 初具中文问答和对话功能，并支持在单张 2080Ti 上进行推理使用。
Lucene原理与代码实例讲解
程序员光剑
06-29 876
Lucene原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming / TextGenWebUILLM Lucene原理与代码实例讲解 1. 背景介绍
从局部到全局：一种面向查询聚焦摘要的图RAG方法
AI浩
07-10 1015
使用大型语言模型（LLM）来“提取”源文本中表示的实体、关系和声明的描述，这本身已经是一种抽象摘要的形式，它依赖于LLM来创建可能由文本本身暗示但未明确表述的概念的独立且有意义的摘要（例如，隐含关系的存在）。为了将所有这样的实例级摘要转换为每个图元素（即实体节点、关系边和声明协变量）的描述性文本块，需要对匹配的实例组进行另一轮LLM摘要。此阶段的一个潜在问题是，LLM可能无法在同一文本格式中一致地提取对同一实体的引用，从而导致实体元素重复，进而在实体图中出现重复节点。
微软GraphRAG原理介绍（附带部分源码）
luxinfeng的博客
07-15 2996
这篇文章主要介绍了微软开源的GraphRAG的数据构建原理和查询检索原理
LLM 技术图谱（LLM Tech Map）是将 LLM 相关技术进行系统化和图形化的呈现，此图谱主要特点是“专注于技术人视角”
10-17
LLM 技术图谱（LLM Tech Map）是将 LLM 相关技术进行系统化和图形化的呈现，此图谱主要特点是“专注于技术人视角”，不求从 LLM 产业角度汇聚信息，而是希望让从事相关工作或是想了解 LLM 的技术人有一个快速感知。...
GraphRAG：LLM 模型增强检索技术和知识图谱的结合开源项目（Microsoft）
简简单单Onlinezuozuo
07-21 1355
在当今的自然语言处理（NLP）和信息检索（IR）领域，复杂的语义关系和大规模数据处理一直是一个挑战。为了解决这些问题，GraphRAG 项目应运而生。作为一个开源项目，GraphRAG 结合了知识图谱和检索增强生成模型（RAG），为增强大语言模型（LLM）的能力提供了一个强有力的工具。GraphRAG 是一个将知识图谱与 RAG 结合的开源项目，旨在提升大语言模型在处理复杂语义和大规模数据时的性能。
知识图谱与 LLM：微调与检索增强生成
洛阳泰山的博客
07-14 935
Midjourney 的知识图谱聊天机器人的想法。大型语言模型 (LLM) 的第一波炒作来自 ChatGPT 和类似的基于网络的聊天机器人，这些模型在理解和生成文本方面非常出色，这让人们（包括我自己）感到震惊。我们中的许多人登录并测试了它写俳句、动机信或电子邮件回复的能力。很快我们就发现，法学硕士不仅擅长生成创造性背景，还擅长解决典型的自然语言处理和其他任务。LLM 炒作开始后不久，人们就开始考虑将其集成到他们的应用程序中。
Mnist数据集，用于人工智能相关基础模型的学习及编程练习
09-06
Mnist数据集，用于人工智能相关基础模型的学习及编程练习
水空两用无人机动力系统设计与研究.pdf
09-06
水空两用无人机动力系统设计与研究.pdf
大神asp新闻发布系统毕业课程设计项目+论文
09-06
编号：55 摘要：随着计算机技术的广泛应用,在新闻发布中引入计算机管理技术,成为一个值得深入研究的问题。本系统采用ASP+ACCESS作为开发环境,本文首先概要的论述了ASP的有关知识与现状,之后，对本系统作了系统的描述,在此基础上，对系统的总体框架和数据库进行了设计，然后，对开发一个小型的新闻信息发布管理系统的各个关键模块实现进行了详细说明。 关键词： 新闻发布，新闻管理，asp，access 目 录 第一章 前　言 1 第二章 系统概述 2 2.1 开发背景 2 2.2 可行性分析 2 2.3 需求分析 3 2.4 asp技术概述 3 2.4.1 ASP的特点 3 2.4.2 ASP的工作原理 4 2.4.3 ASP环境的安装与配置 5 2.5 Access 2003 数据库工具概述 5 2.5.1选择Access2003 作为后台数据库 6 2.5.2 ADO开发数据库 6 第三章 总体设计 8 3.1 系统总体功能设计 8 3.2 系统数据库设计 9 3.2.1 超级管理员表(admin表)设计 9 3.2.2 新闻信息表(news表)设计 10 3.2.3 新闻栏目表(
矫正图像带的旋转角度信息和目标检测标签坐标也随之改变.zip
09-06
1 目标检测的定义 目标检测（Object Detection）的任务是找出图像中所有感兴趣的目标（物体），确定它们的类别和位置，是计算机视觉领域的核心问题之一。由于各类物体有不同的外观、形状和姿态，加上成像时光照、遮挡等因素的干扰，目标检测一直是计算机视觉领域最具有挑战性的问题。 目标检测任务可分为两个关键的子任务，目标定位和目标分类。首先检测图像中目标的位置（目标定位），然后给出每个目标的具体类别（目标分类）。输出结果是一个边界框（称为Bounding-box，一般形式为(x1,y1,x2,y2)，表示框的左上角坐标和右下角坐标），一个置信度分数（Confidence Score），表示边界框中是否包含检测对象的概率和各个类别的概率（首先得到类别概率，经过Softmax可得到类别标签）。 1.1 Two stage方法 目前主流的基于深度学习的目标检测算法主要分为两类：Two stage和One stage。Two stage方法将目标检测过程分为两个阶段。第一个阶段是 Region Proposal 生成阶段，主要用于生成潜在的目标候选框（Bounding-box proposals）。这个阶段通常使用卷积神经网络（CNN）从输入图像中提取特征，然后通过一些技巧（如选择性搜索）来生成候选框。第二个阶段是分类和位置精修阶段，将第一个阶段生成的候选框输入到另一个 CNN 中进行分类，并根据分类结果对候选框的位置进行微调。Two stage 方法的优点是准确度较高，缺点是速度相对较慢。 常见Tow stage目标检测算法有：R-CNN系列、SPPNet等。 1.2 One stage方法 One stage方法直接利用模型提取特征值，并利用这些特征值进行目标的分类和定位，不需要生成Region Proposal。这种方法的优点是速度快，因为省略了Region Proposal生成的过程。One stage方法的缺点是准确度相对较低，因为它没有对潜在的目标进行预先筛选。 常见的One stage目标检测算法有：YOLO系列、SSD系列和RetinaNet等。 2 常见名词解释 2.1 NMS(Non-Maximum Suppression) 目标检测模型一般会给出目标的多个预测边界框，对成百上千的预测边界框都进行调整肯定是不可行的,需要对这些结果先进行一个大体的挑选。NMS称为非极大值抑制，作用是从众多预测边界框中挑选出最具代表性的结果，这样可以加快算法效率，其主要流程如下： 设定一个置信度分数阈值，将置信度分数小于阈值的直接过滤掉 将剩下框的置信度分数从大到小排序，选中值最大的框 遍历其余的框，如果和当前框的重叠面积(IOU)大于设定的阈值（一般为0.7），就将框删除（超过设定阈值，认为两个框的里面的物体属于同一个类别） 从未处理的框中继续选一个置信度分数最大的，重复上述过程，直至所有框处理完毕 2.2 IoU(Intersection over Union) 定义了两个边界框的重叠度，当预测边界框和真实边界框差异很小时，或重叠度很大时，表示模型产生的预测边界框很准确。边界框A、B的IOU计算公式为: 2.3 mAP(mean Average Precision) mAP即均值平均精度，是评估目标检测模型效果的最重要指标，这个值介于0到1之间，且越大越好。mAP是AP(Average Precision)的平均值，那么首先需要了解AP的概念。想要了解AP的概念，还要首先了解目标检测中Precision和Recall的概念。 首先我们设置置信度阈值（Confidence Threshold）和IoU阈值（一般设置为0.5，也会衡量0.75以及0.9的mAP值）： 当一个预测边界框被认为是True Positive（TP）时，需要同时满足下面三个条件： Confidence Score > Confidence Threshold 预测类别匹配真实值(Ground truth)的类别 预测边界框的IoU大于设定的IoU阈值 不满足条件2或条件3，则认为是False Positive（FP）。当对应同一个真值有多个预测结果时，只有最高置信度分数的预测结果被认为是True Positive，其余被认为是False Positive。 Precision和Recall的概念如下图所示： Precision表示TP与预测边界框数量的比值 Recall表示TP与真实边界框数量的比值 改变不同的置信度阈值，可以获得多组Precision和Recall，Recall放X轴，Precision放Y轴，可以画出一个Precision-Recall曲线，简称P-R
技术方案资料技术方案资料PCB设计高级教程资料.zip
最新发布
09-06
技术方案资料技术方案资料PCB设计高级教程资料.zip
8051Proteus仿真c源码用定时器T0的中断实现长时间定时
09-06
8051Proteus仿真c源码用定时器T0的中断实现长时间定时提取方式是百度网盘分享地址
PaddlePaddle
07-27
PaddlePaddle是一个开源的深度学习平台，可以用于构建和训练深度学习模型。如果你想使用PaddlePaddle，可以通过源码编译的方式来安装。首先，你需要在Git Bash中执行以下两条命令来将PaddlePaddle的源码克隆到本地，并进入Paddle目录： ``` git clone https://github.com/PaddlePaddle/Paddle.git cd Paddle ``` 接下来，你可以根据自己的需求进行编译。如果你使用的是Windows系统，可以使用源码编译来安装符合你需求的PaddlePaddle版本。具体的编译步骤可以参考官方文档中的Windows下源码编译部分\[2\]。 如果你想在docker镜像中编译PaddlePaddle，可以使用以下命令启动docker镜像并进行编译。如果你需要编译CPU版本，可以使用以下命令： ``` sudo docker run --name paddle-test -v $PWD:/paddle --network=host -it hub.baidubce.com/paddlepaddle/paddle:latest-dev /bin/bash ``` 如果你需要编译GPU版本，可以使用以下命令： ``` sudo nvidia-docker run --name paddle-test -v $PWD:/paddle --network=host -it hub.baidubce.com/paddlepaddle/paddle:latest-dev /bin/bash ``` 以上是关于使用源码编译PaddlePaddle的一些基本步骤和命令。你可以根据自己的需求和操作系统选择适合的方式来安装PaddlePaddle。 #### 引用[.reference_title] - *1* *2* *3* [《PaddlePaddle从入门到炼丹》一——新版本PaddlePaddle的安装](https://blog.csdn.net/qq_33200967/article/details/83052060)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

救救孩子把

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值