- 博客(4)
- 收藏
- 关注
RSS订阅原创 大语言模型的具身化——LLM-based Agents实战
长期以来，研究者们一直在追求与人类相当、乃至超越人类水平的通用人工智能（Artificial General Intelligence，AGI）。早在 1950 年代，Alan Turing 就将「智能」的概念扩展到了人工实体，并提出了著名的图灵测试。这些人工智能实体通常被称为 —— 代理（Agent）。「代理」这一概念起源于哲学，描述了一种拥有欲望、信念、意图以及采取行动能力的实体。在人工智能领域，这一术语被赋予了一层新的含义：具有自主性、反应性、积极性和社交能力特征的智能实体。
2024-06-13 15:50:48
1795
原创 打造自己的知识领域助手——InternLM RAG实战
RAG（Retrieval Augmented Generation）技术，通过检索与用户输入相关的信息片段，并结合外部知识库来生成更准确、更丰富的回答。解决 LLMs 在处理知识密集型任务时可能遇到的挑战, 如幻觉、知识过时和缺乏透明、可追溯的推理过程等。提供更准确的回答、降低推理成本、实现外部记忆。RAG 能够让基础模型实现非参数知识更新，无需训练就可以掌握新领域的知识。本次课程选用的茴香豆应用，就应用了 RAG 技术，可以快速、高效的搭建自己的知识领域助手。
2024-05-27 12:44:58
1948
原创 InternLM（书生·浦语）大模型部署
Lagent 是一个轻量级、开源的基于大语言模型的智能体（agent）框架，支持用户快速地将一个大语言模型转变为多种类型的智能体，并提供了一些典型工具为大语言模型赋能。它的整个框架图如下:
2024-05-26 19:02:04
947
原创 Llama3部署、微调和量化实战
模型在运行时，占用的显存可大致分为三部分：模型参数本身占用的显存、KV Cache占用的显存，以及中间运算结果占用的显存。LMDeploy的KV Cache管理器可以通过设置--cache-max-entry-count参数，控制KV缓存占用剩余显存的最大比例。默认的比例为0.8。为了更加明显体会到W4A16的作用，我们将KV Cache比例再次调为0.01，查看显存占用情况，占用显存约为6GB，相比量化前的16GB明显减小。量化后的模型，占用磁盘空间约为5GB，量化前为15GB，明显减小。
2024-05-19 22:46:41
1849
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人