奇华资料的博客

语言模型」是一种「人工智能系统」，旨在处理、理解和生成类似人类的语言。它们从大型数据集中学习模式和结构，使得能够产生连贯且上下文相关的文本，应用于翻译、摘要、聊天机器人和内容生成等领域。图片。

主管管理Agent之间的通信，并可以为专业化的代理分配特定的任务。这个过程在 ReAct 中缺失，而 Reflexion 正是填补这一空白的地方， 利用verbal reinforcement 帮助代理从之前的失败中学习的技术。工具使用是一种强大的技术，可以增强 LLM 的能力并弥补它们的不足。在训练 LLM 时，可以给它足够数量包含类似思维的例子的数据集，或者 LLM 可以发现自己的思考过程。实现短期记忆最直接的方法是使用模型的上下文窗口，这本质上是 LLM 可以处理的 token 数量。

技术，ChatGLM2-6B 有更高效的推理速度和更低的显存占用：在官方的模型实现下，推理速度相比初代提升了 42%，INT4 量化下，6G 显存支持的对话长度由 1K 提升到了 8K。开源了六种大小的基础和聊天模型，即0.5B、1.8B、4B、7B、14B、32B、72B 和 110B，以及 MoE 模型（64个expert）开源了0.5B、1.5B、7B、57B-A14B（共57B但激活14B）和72B等五种模型。开源了0.5B、1.5B、3B、7B、14B、32B和72B等七种模型。

deepseek最近引起了NLP领域的极大关注，也让大家进一步对MOE架构提起了信心，借此机会整理下MOE的简单知识和对应的大模型。本文的思路是MOE的起源介绍、原理解释、再到现有MOE大模型的整理。

TensorRT-LLM 是一个用于定义大语言模型并构建 TensorRT 引擎的 Python API，以高效地在 NVIDIA GPU 上执行推理。TensorRT-LLM 包含用于创建 Python 和 C++ 运行时以及执行这些 TensorRT 引擎的组件。它还包括一个用于与NVIDIA Triton 推理服务集成的后端（tensorrtllm_backend）；使用 TensorRT-LLM 构建的模型可以在单个 GPU或在具有多个 GPU 的多个节点上执行（（使用张量并行或流水线并行））。

由于服务器无法访问外网，只能预先准备好镜像，安装包、编译源码等，接下来准备安装 TensorRT-LLM，推荐使用 Docker 构建和运行 TensorRT-LLM，整个安装步骤参考 TensorRT-LLM 中构建 Docker 镜像的。通常，build.py 仅需单个 GPU，但如果您有推理所需的所有 GPU，则可以通过添加 --parallel_build 参数来启用并行构建，以使引擎构建过程更快。本文简要介绍了TensorRT-LLM环境搭建，同时，基于Bloom进行模型量化及推理。

同时，它的接口和文档相对较少，用户可能需要更深入地了解其底层实现和使用方式，这对于初学者来说可能会增加学习和使用的难度。并且 FastTransformer 的生态较小，可用的资源和支持较少，这也会增加使用者在理解和应用 FastTransformer 上的困难。Protobuf是一种轻量级的、高效的数据交换格式，但它在序列化和反序列化大型数据时有一个默认的大小限制。随着大模型的爆火，投入到生产环境的模型参数量规模也变得越来越大（从数十亿参数到千亿参数规模），从而导致大模型的推理成本急剧增加。

所谓自定义backend就是自己写推理过程，正常情况下整个推理过程是通过模型直接解决的，但是有一些推理过程还会包含一些业务逻辑，比如：整个推理过程需要2个模型，其中要对第一个模型的输出结果做一些逻辑判断然后修改输出才能作为第二个模型的输入，最简单的做法就是我们调用两次triton服务，先调用第一个模型获取输出然后进行业务逻辑判断和修改，然后再调用第二个模型。不过在triton中我们可以自定义一个backend把整个调用过程写在里面，这样就简化调用过程，同时也避免了一部分http传输时延。

Transformer由论文提出，现在是谷歌云TPU推荐的参考模型。论文相关的Tensorflow的代码可以从GitHub获取，其作为Tensor2Tensor包的一部分。哈佛的NLP团队也实现了一个基于PyTorch的版本，并注释该论文。在本文中，我们将试图把模型简化一点，并逐一介绍里面的核心概念，希望让普通读者也能轻易理解。Transformer 与 RNN 不同，可以比较好地并行训练。

onnxruntime和tensorrt是我们常用的两种推理方式，下面整理了两个推理示例，仅供参考。

对于yolov8的模型，要加速的话，首先要进行模型转换，从onnx转换为tensorrt。本文推理主要使用Tensorrt的C++的Api，实现推理加速。

使用TensorRT进行加速推理时，需要先将onnx格式转化为tensorrt格式，以下是使用C++来进行转化代码以及对应的CMakeLists.txt文件。本文主要为大家详细介绍了如何使用C++将yolov8 onnx格式转化为tensorrt格式,文中的示例代码讲解详细,感兴趣的小伙伴可以了解一下。以yolov8为例，使用cmake编译好后会生成build可执行文件，执行以下命令即可等待生成yolov8x.engine文件。

使用 onnxruntime-gpu 进行推理，运行时间久了，显存被拉爆。

代理（Agent）指能自主感知环境并采取行动实现目标的智能体，即AI作为一个人或一个组织的代表，进行某种特定行为和交易，降低一个人或组织的工作复杂程度，减少工作量和沟通成本。背景目前，我们在探索Agent的应用方向，借此机会调研学习了一下现在主流的Agent框架，这篇文章也是我们调研过程的记录。截止至今日，开源的Agent应用可以说是百花齐放，文章也是挑选了热度和讨论度较高的19类Agent，基本能覆盖主流的Agent框架，每个类型都做了一个简单的summary、作为一个参考供大家学习。

最近也在投入几款基于Agent开源产品进行二开的产品工作，后续在prompt调优、聊天体验优化等方面，可以和大家分享一些思路，敬请关注（btw，目前自己也只是一名初入AI领域的AI爱好者哈哈，如文中有所纰漏，欢迎大佬们不吝赐教、帮助我更好的进步～）1、新增一个问题分类器，其中task1中的分类为「通用」，task可以设为「撰写产品需求文档」，之后，AI即可自行对用户提问的意图做区分，从而可以让不同的问题流向不同的大模型和prompt人设去对应处理。其最基础的常用格式是：你是一个xxx，你的任务是xxxx。

多模态大模型，结合了NLP和CV的能力，通过整合并处理来自不同模态的信息（文本、图像、音频和视频等），可以处理跨领域的任务，例如文生图，文生视频、跨媒体搜索（通过上传图，搜索和图有关的文字描述）等。根据训练的数据类型和应用方向，我们通常会将大模型分为语言大模型（以文本数据进行训练）、音频大模型（以音频数据进行训练）、视觉大模型（以图像数据进行训练），以及多模态大模型（文本和图像都有）。大部分的大模型，都是基于开源大模型框架和技术打造的，实际上是为了迎合资本市场的需求，或者为了蹭热度。

大模型常见推理框架：Transformers、Llama.cpp、Llamafile、Ollama、vLLM、TGI（Text Generation Inference)、DeepSpeed。是重点。

ONNX实时提供了各种图形优化来提高模型性能。图优化本质上是图级别的转换，从小型图简化和节点消除，到更复杂的节点融合和布局优化。图形优化根据其复杂性和功能分为几个类别（或级别）。可以在线或离线执行。在联机模式下，优化在执行推断之前完成，而在脱机模式下，实时将优化的图形保存到磁盘。ONNX实时提供Python、C++、C++和C API，启用不同的优化级别，并在脱机与在线模式之间进行选择。下面将详细介绍优化级别、在线/离线模式以及控制它们的各种API。

在聊Feature Pyramid Networks(FPN)和Region Proposal Networks(RPN)之间先熟悉一下Faster R-CNN的背景。与算法如yolo系列相比，Faster RCNN做为典型的算法最大的区别就在于其先通过RPN找到proposal，在对proposa分类，经历了两个网络。