能源星球的博客

AI Agent（人工智能代理）是一种能够感知环境、自主决策并采取行动以实现特定目标的智能实体。它结合了人工智能技术（如机器学习、自然语言处理、计算机视觉等），能够通过与环境交互不断学习和优化行为。

DeepSeek-R 1.5B、7B、8B、14B、32B、70B、671B 主要区别

vLLM是一个开源的大模型推理加速框架，它通过PagedAttention高效地管理attention中缓存的张量，实现了比HuggingFace Transformers高14-24倍的吞吐量。DeepSpeed通过一系列优化技术，如ZeRO（零冗余优化器）、3D并行（数据并行、模型并行和流水线并行的结合）、1比特Adam等，提升了大模型训练和推理的效率。TensorRT-LLM是由NVIDIA提供的另一个重要的推理框架，专为Transformer架构设计，支持从移动端到数据中心的各种应用。