iCloudEnd的博客

如果您正在寻找类似于Ollama和LM Studio 的工具来在本地运行大型语言模型 (LLM)，那么有几种替代方案，它们的重点、界面和复杂性各不相同。下面，我列出了符合本地 LLM 执行、模型管理或开发人员友好集成目标的工具。每种工具都有自己的优势，具体取决于您优先考虑 GUI、CLI、API 支持还是自定义。

量化是一种降低模型参数、激活和梯度中使用的数值精度的技术。例如，我们可以使用 16 位浮点 (FP16) 或 8 位整数 (INT8)，而不是以 32 位浮点格式 (FP32) 表示权重。这种减少会缩小内存占用和计算要求，直接影响训练和运行 LLM 的成本。这对于像 DeepSeek R1 这样具有 6710 亿个参数的模型来说尤其重要，因为内存和计算成本会随着模型大小而增长。

为了引导模型更好地推理，我们设计了一个奖励函数，对三个方面进行评分：正确性（最终答案是否匹配？）、清晰度（步骤是否合乎逻辑？）和完整性（是否有多个步骤？奖励范围从 0 到 1，从最高 3 分开始标准化。\d+\.?

FP8 或 8 位浮点表示是一种紧凑的数字格式，旨在平衡深度学习工作负载中的精度和范围。与更常见的 FP32（32 位浮点）或 FP16（16 位浮点）不同，FP8 仅使用 8 位来表示数字，因此内存效率极高。但是，这种位数的减少是有代价的：与高位浮点相比，FP8 的精度较低，范围较窄。为了解决这个问题，FP8 有两种版本，每种版本都针对不同的需求量身定制E4M3：结构：1个符号位，4个指数位，3个尾数位。范围：可以存储从 -448 到 +448 的值，加上 NaN（非数字）。

由于大型语言模型 (LLM) 的大小和计算要求，对其进行微调可能具有挑战性。但是，借助 LoRA（低秩自适应）和 4 位量化等技术，我们可以有效地调整 DeepSeek-Math-7B 等模型以完成特定任务，例如纠正数学模因。本教程将介绍使用 Hugging Face 的transformers、peft和datasets库对 DeepSeek 进行微调的过程。

开发高性能 CUDA 内核需要深入了解 GPU 架构、高效内存管理以及仔细的代码调优，以充分利用硬件。本指南提供了编写正确且高性能的 CUDA 内核的分步方法。

Gemma 3 是 Google 最新的开源 AI 模型，于 2025 年 3 月 12 日发布，旨在在手机和工作站等设备上高效运行。它的参数大小从 10 亿到 270 亿（准确地说：1B、4B、12B、27B），其中 27B 版本尤其可以与更大的模型竞争，例如 LLama 和 DeepSeek 的 400B 或 600B 参数。

人工智能的世界在不断发展，就在你以为自己已经理解了检索增强生成 (RAG) 时，一种突破性的新方法出现了。由著名的牛津大学的研究人员开发的代理推理对代理推理 (RAR)有望重新定义人工智能系统如何解决复杂问题。忘记基本的信息检索吧——RAR 是关于深度、代理驱动的推理，它可以开启人工智能能力的新时代。从本质上讲，RAR 是传统 RAG 系统的升级版。

MCP 就像是 AI 的通用插头。想象一下在 USB-C 出现之前，充电器不兼容的烦恼。MCP 为 AI 解决了类似的问题，为 AI 客户端（如 Claude、Cursor 等）创建了一种标准方式来连接各种工具和数据源。可以将其视为一个标准化端口，让您的 AI 可以轻松访问实时股票价格、电子邮件收件箱甚至复杂的 API 等内容，而无需复杂的一次性设置。想象一下，给你的人工智能一把瑞士军刀。

人工智能 (AI) 工作流程的发展遵循了一条迷人的轨迹。最初，由于硬件限制，AI 处理仅限于桌面计算。然后，云计算的兴起为 AI 开发人员提供了大量计算资源，使复杂模型的训练和部署速度更快。然而，对云基础设施的依赖带来了延迟、安全问题和高运营成本等挑战。现在，在NVIDIA 的 Project DIGITS的支持下，AI 重新专注于本地化处理，从而实现了完整的循环。这种转变不仅仅是技术上的进步，它代表了我们在处理人工智能效率、可访问性和可持续性方面所采取的根本性变化。

在本指南中，我们将系统地介绍在配备 Nvidia GPU 的 Ubuntu 22.04 系统上安装 CUDA 12.4 的过程。CUDA 或计算统一设备架构是 Nvidia 开发的强大的并行计算平台，用于提高计算密集型应用程序的性能。本文还将介绍 Nvidia 驱动程序、CUDA 工具包、用于深度学习的 cuDNN 和用于构建神经网络的 PyTorch 等基本软件组件的安装。通过遵循本指南，读者将获得为 GPU 加速计算设置强大环境的实践经验。

A100 和 H100 都是张量核心 GPU。这些是有助于高效执行矩阵乘法的处理单元。在深度学习中，张量是指存储多维数据的数据类型。与执行逻辑和算术运算的微处理器不同，深度学习需要矩阵乘法。因此，张量核心比普通 CPU 甚至 CUDA 核心更受欢迎。两个 4×4 矩阵相乘需要进行 64 次乘法和 48 次加法。卷积和乘法是新核心的亮点所在。随着矩阵（张量）的大小和维度的增加，计算复杂性也会成倍增加。机器学习、深度学习和光线追踪都是涉及大量乘法的任务，因此这些 GPU 值得花钱购买。

什么是 GraphRAG？从您的角度来看，GraphRAG 意味着什么？如果您可以仅使用查询开关将标准 RAG 和 GraphRAG 作为一个组合包，会怎么样？事实上，对于 GraphRAG 是什么，目前还没有一个具体的、普遍接受的定义——至少目前还没有。根据我的经验、文献监测和与许多人的交谈，我估计（向 Steven D. Levitt 致歉，我知道这不是呈现统计数据的正确方式）：90%的人将 GraphRAG 与微软构建图表（或其变体）并在其上进行搜索的方法联系起来。

MCP代表模型上下文协议，这是最近推出的用于连接 AI 模型和外界的开放标准。MCP 的核心是定义了 AI 系统（如大型语言模型）与外部数据源和服务连接和通信的方式。MCP 服务器是该连接的一端，本质上是一种服务或连接器，以标准化方式为 AI 模型提供对某些资源、工具或数据的访问权限。另一端是MCP 主机，通常是使用这些服务器的 AI 应用程序或助手（例如，Anthropic 的 Claude 桌面应用程序）。

模型上下文协议 (MCP) 是一个框架，使 LLM 能够与外部工具、数据源或系统进行交互。启用 MCP 的 LLM 不仅可以响应文本提示，还可以检索实时数据、触发脚本，甚至动态控制应用程序。通过将 MCP 与本地运行的 LLM 集成，您可以解锁一个强大的 AI 工具，它不仅可以生成内容，还可以对其采取行动，从而使自动化和上下文感知辅助更加无缝。

Crew AI是一个框架，可将多个专业代理和任务编排到统一的工作流程中。Crew AI 并不依赖单一的整体系统，而是将职责划分给代理——每个代理都设计有特定的角色（例如，路由、检索、评分）。这种模块化方法具有以下几个优点：灵活性：无需重新设计整个系统即可轻松更换或更新单个代理。专业化：每个代理可以专注于特定的任务，例如评估检索相关性或过滤幻觉反应。透明度：详细的日志记录和基于任务的架构使您能够追踪管道中的每个决策。

自从 Anthropic 将模型上下文协议 (MCP)引入Claude 以来，它彻底改变了我们自动执行重复任务的方式。从文件管理到社交媒体工作流程，MCP 服务器可让您将Claude连接到GitHub、Slack和Google Maps等强大的工具。这些集成可帮助您节省时间、简化工作流程并专注于最重要的事情。在本文中，我将通过实用提示和示例分享可用于提高生产力的5 大 MCP 服务器。无论您是想管理文件、实现团队沟通自动化，还是简化基于位置的任务，这里都能满足每个人的需求。

设置很简单。我将使用一个假的 SQLite 数据库，提供一些员工数据，然后创建一个在数据库上运行 SQL 查询以回复用户查询的 AI 代理。import os"""))",employees我要创建的 AI 代理将是一个工具调用代理。我需要定义一个自定义工具来对数据库执行 SQL 查询。我的自定义工具应该继承自 smolagents 库的 Tool 类。SQL 执行器工具实际采取的操作非常简单：连接到数据库，执行 SQL 查询，检索结果，获取异常（如果有），最后关闭与数据库的连接。"""

Qwen是阿里云发布和维护的一系列 LLM。QwQ是 Qwen 系列中具有推理能力的模型。前段时间，团队发布了该模型的预览版，现在，他们已经完整发布了 QwQ-32B 模型。它在 Huggingface 和 Ollama 模型存储库中可用。

该项目的主要部分包括：ASP.NET Core Web API（.NET 9）——公开 API 以获取未来 5 天的天气预报React.js 仪表板——显示天气数据，将 API 数据提供给 ollama，聊天界面与数据交互。用户可以在聊天窗口提出与天气预报相关的问题，Ollama 将根据 API 数据生成答复。

对大型语言模型 (LLM) 进行微调对于使其适应特定任务至关重要。该领域的最新进展之一是通用强化预训练优化 (GRPO)，它使用强化学习原理增强了微调。在本博客中，我们将探讨 DeepSeek-7B 上的 GRPO 微调，并提供分步实施指南。《AnythingLLM教程系列之 12 AnythingLLM 上的 Ollama 与 MySQL+PostgreSQL》 权重4，本地类、AnythingLLM类、Ollama类《Nvidia 系列 之 在 Ubuntu 22.04 中为 LLM 设置 Nvidi

React Native 让开发人员能够使用 JavaScript 和 React 构建原生应用，彻底改变了移动应用开发。自 2015 年 Facebook（现为 Meta）推出以来，它已成为最受欢迎的跨平台移动开发框架之一，为 iOS 和 Android 平台上的数千款应用提供支持。去年，我们见证了生成式人工智能开发领域前所未有的竞争。

您是否曾想过 AI 模型如何学习分解数学问题或逐步解释代码？过去几年，许多公司都建立了大型语言模型 (LLM)，可以创建文本、翻译语言、编写代码等。但 AI 中出现了一种新趋势：推理语言模型 (RLM)。这些模型旨在解释其推理，而不仅仅是给出简短的答案。该领域最大的进展之一是DeepSeek R1，这是一个开源推理模型，可与目前最先进的一些 AI 系统（如 OpenAI 的“o1”等）相媲美。在这篇文章中，我将带您了解 DeepSeek R1 的训练基础知识、它的重要性以及它对 AI 未来的意义。

当今世界上最强大的 AI 模型之一已开源。根据指标和用户交互，它与 OpenAI 的 ChatGPT 一样好，甚至更好。作者们非常慷慨地发布了一篇论文，概述了他们如何训练这样的模型。DeepSeek-R1 目前在科技界是一件大事，所以我想分解一下我对他们论文中见解的理解。

量子时代尚未到来——它已经到来。对于经验丰富的程序员来说，这意味着放弃确定性逻辑，拥抱概率、叠加和纠缠。你的解决问题和抽象能力仍然很重要，但现在你将用它们来设计电路和操纵量子位而不是比特。对于新手来说，这是一个全新的开始。深入探索，不要想太多陌生的东西——这都是游戏的一部分。

您是否想过如何进行量子力学实验？您是否认为这需要复杂的设备？在这里，您可以了解如何进行光电效应实验以及如何使用现成的材料测量普朗克常数。

安装ollama和deepseek。

DeepSeek 在开源周第三天发布了 DeepGEMM，这不仅仅是一个技术里程碑，更是迈向更具协作性、更高效、更强大的 AI 未来的一步。无论您是开发人员、研究人员还是技术爱好者，DeepGEMM 都可以提供工具来优化 MoE 模型的矩阵运算，这要归功于其 FP8 性能、JIT 编译和开源特性。

作者介绍了 NSA，这是一种原生可训练的稀疏注意力机制，旨在解决高效长上下文建模的挑战。NSA采用动态分层稀疏策略，将粗粒度标记压缩与细粒度标记选择相结合，同时保留全局上下文感知和局部精度。NSA 的主要创新包括：结合智能压缩和选择该模型使用捷径，将相似的信息分组（如总结文本块）并有选择地关注重要部分（如挑选关键句子）。这减少了模型需要处理的数据量，而不会丢失关键上下文。硬件友好型设计注意力机制经过优化，可以与现代计算机硬件（如 GPU）完美配合。

内核是一个小型的优化程序，它在 GPU 上运行，用于执行矩阵乘法或注意力计算等特定任务。它是 AI 中并行处理的支柱，可使复杂的操作更快、更高效。Hopper 是 NVIDIA 最新的 GPU 架构，专为 AI 和高性能计算而设计。它具有先进的 Tensor Core、高内存带宽以及对 FP8 等新数据类型的支持，使其成为大规模 AI 模型的理想选择。FlashMLA 是专为Hopper GPU（如 NVIDIA 的 H100 系列）设计的高度优化的解码内核。

在生成式 AI 中，混合专家 (MoE)是一种使用多个专门的“专家”子模型来处理不同任务的模型架构。MoE 模型不会使用单个大型模型来处理所有任务，而是根据输入有选择地激活一组专家，通过仅使用最相关的专家来完成每项任务，从而提高效率。这种方法有助于在保持计算效率的同时扩大模型规模。专家并行 (EP)是指专家混合 (MoE) 模型中使用的一种技术，其中多个专家（专业子模型）并行工作以处理任务的不同部分。

微调代表了模型开发的一种战略方法，我们采用预先训练的 LLM（通过对大量数据集的训练，已经具备了广泛的语言理解能力），并在较小的专业数据集上对其进行进一步训练。该模型在保留其基础知识的同时，还在您的目标领域发展专业知识。对于某些自定义任务，微调可以比仅使用 LLM 模型产生更好的结果。无论您是处理患者医疗记录以生成治疗摘要、分析历史诊断模式，还是想要构建一个能够理解特定医学术语和医院协议的模型以生成标准化报告，您都可以考虑对 LLM 模型进行微调。

Linux 上的 NVIDIA 5090 是 AI、游戏和渲染的强大引擎，但需要耐心。如果稳定性是首要考虑因素，请坚持使用开源驱动程序，并关注 NVIDIA 论坛以获取未来更新。

现在，世界各地的科学家都可以使用 Evo 2，这是一种旨在推动生物分子研究的尖端基础模型。Evo 2 使用Amazon Web Services 上的 NVIDIA DGX Cloud 构建，是目前最大的公开可用的基因组数据训练 AI 模型。它是由非营利组织 Arc Institute 和斯坦福大学牵头合作开发的。Evo 2 模型可通过NVIDIA BioNeMo 平台使用，包括作为 NVIDIA NIM 微服务，为开发人员提供简化且安全的 AI 部署。

谷歌最终也加入了多 AI 代理的潮流，并发布了一个相当重要的框架来推动研发，称为“AI Co-Scientist”，它专门在由 Gemini2.0 提供支持的 AI 代理团队的帮助下完成研发任务。

MT5 Python API 架构设计分为三层：通信层：利用异步消息传递（例如 ZeroMQ 或标准套接字编程）支持每秒数万个数据请求。转换层： C++ 动态库有效地将 MT5 命令转换为 Python 对象（反之亦然），从而优化速度和内存使用率。接口层：提供Pythonic API，封装了所有终端功能，包括：1）实时价格订阅（滴答或秒级更新）2）历史数据检索（从M1到更高的时间范围）3）订单流监控（交易详情和市场深度）4）策略执行引擎（用于算法交易）

随着 LLM 的发展，新的用途正在进入我们的生活。AI 代理就是其中之一。LLM 本质上处于静态状态。它们无法根据训练数据做出反应并执行当今的发展和一些特殊任务。AI 代理是可以与自身环境交互的系统。它们使 LLM 能够访问工具，因此它们可以满足 LLM 范围之外的所需请求。AI代理由两部分组成：AI 模型 (LLM)：执行推理、规划和选择最佳行动。工具：这些是 AI 代理使用的特殊功能。它们的开发决定了模型的能力。

大型语言模型 (LLM) 已进入医疗诊断、医疗保健、网络运营和在线培训角色扮演等小众领域。然而，要在这些领域成功采用通用预训练模型，需要进行某种形式的调整才能获得可接受的性能。GraphRAG就是这样一种调整，它使用知识图谱(KG) 作为 LLM 的上下文或事实信息来源。KG 是带有属性的带标签节点的集合，这些节点通过关系链接在一起，形成结构化路径。它们捕获节点的语义关系。许多 LLM 应用框架都构建了对图形的支持，其中包括 LlamaIndex。

我注意到，没有任何平台上的资源能够提供使用激光雷达点云数据创建 OSM 文件的简洁方法，使用 QGIS 和 JOSM 等开源工具，而使用 ArcGIS Pro 等可能可以实现这一点。在这篇博客中，我介绍了一种将 .Laz 格式的建筑物激光雷达数据提取为 OSM 格式的过程，该格式可以使用许多软件工具进行处理，例如使用 QGIS 开源地理信息软件工具。我们将把它转换为 OSM 格式。

由于 Ultralytics 等用户友好型库的存在，在 Python 中运行对象检测模型变得非常容易，但在 C++ 中运行 YOLO 模型又如何呢？这也不是那么难，在本文中，我将向您展示如何仅使用 OpenCV 库在 C++ 中运行 YOLO 模型。本文介绍如何在CPU 而非 GPU上运行 YOLOv5 模型。在 GPU 上运行模型需要安装 CUDA、CUDNN 和其他可能令人困惑且耗时的东西。我将在未来写另一篇文章介绍如何在 CUDA 支持下运行 YOLO 模型。