- 博客(95)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 【大模型系列篇】驱动编码助手Cursor与Windsurf工作的隐藏算法解读
氛围编程是由AI辅助的编程方式，开发者只需提出需求，AI生成代码后直接应用，遇到问题再要求AI修改。该方式降低了编程门槛，提升了效率。Cursor和Windsurf是两种流行的AI编程助手，通过复杂的算法和系统理解代码库，提供智能建议和修改。Cursor使用两阶段检索流程和向量存储来索引代码，而Windsurf则构建代码图谱并采用LLM搜索工具。两者都通过ReAct模式将语言模型转化为多步骤编码代理，实现高效的代码编辑和问题解决。这些AI助手的核心在于能够实时理解代码库，并根据开发者的需求提供精准编程支持。
2025-05-16 13:19:18
1113
原创 【RAG】检索增强生成的最佳实践
典型的RAG工作流程通常包含多个中间处理步骤：查询分类（确定对于给定的输入查询是否需要进行检索）、检索（高效地获取与查询相关的文档）、重新排序（根据文档与查询的相关性对检索到的文档进行排序）、重新打包（将检索到的文档组织成结构化的形式以更好地生成）、摘要（从重新打包的文档中提取关键信息用于生成响应并消除冗余）模块。常见的重新排名方法采用深度语言模型，例如 BERT [25]、T5 [26] 或 LLaMA [27]，这需要较慢的速度重新排序期间的推理步骤，但可以获得更好的性能。为了解决这些问题，我们使用。
2025-05-16 07:00:00
1001
原创 【SpeechLMs】语音大型语言模型综述《A Survey on Speech Large Language Models》
本文全面探讨了语音大型语言模型的发展、架构及其在口语理解（SLU）领域的应用。传统方法通过级联自动语音识别（ASR）生成的文本进行处理，而新方法则围绕音频特征提取、多模态信息融合和LLM推理设计架构，实现了更丰富的音频特征提取和端到端的多模态融合。文章详细分析了语音LLM的架构演变、多模态信息融合方法（如音频到文本模态转换和结合音频与文本特征空间）以及训练策略（如预训练、监督微调和强化学习）。尽管语音LLM在富音频转录和跨任务集成方面取得了显著进展，但仍面临LLM休眠、高成本等挑战。
2025-05-15 06:00:00
697
原创 【RAG】RAG-MCP：基于检索增强生成来缓解大语言模型工具选择中的提示膨胀问题
本文介绍了RAG-MCP，一个检索增强生成框架，旨在解决大型语言模型（LLM）在利用外部工具时面临的提示膨胀和选择复杂性问题。RAG-MCP通过语义检索从外部索引中识别与查询最相关的模型上下文协议（MCP），仅将选定的工具描述传递给LLM，从而减少提示大小并简化决策过程。实验表明，RAG-MCP显著减少了提示词token，并在基准任务上的工具选择准确率提高了三倍多。RAG-MCP使得LLM能够进行可扩展且准确的工具集成，为下一代使用广泛工具包运行的人工智能代理提供了一个切实可行的解决方案。
2025-05-15 06:00:00
1163
原创 【大模型系列篇】从初代到前沿：一文回顾Qwen进化史
一文回顾Qwen模型系列：Qwen3、Qwen2.5-Omni、Qwen2.5-VL、Qwen2.5-1M、QVQ、QwQ、Qwen2.5-Coder、Qwen2.5、Qwen2.5-Math、Qwen2-Math、Qwen2-Audio、Qwen2-VL、Qwen2、Qwen1.5、Qwen。
2025-05-14 07:18:11
975
原创 【大模型系列篇】探索面壁小钢炮最强多模态端侧大模型 MiniCPM-o
MiniCPM-o 是从 MiniCPM-V 升级的最新端侧多模态大模型系列。该系列模型可以以端到端方式，接受图像、视频、文本、音频作为输入，并生成高质量文本和语音输出。MiniCPM-o 2.6是MiniCPM-o系列中最新且功能最强大的模型。该模型基于 SigLip-400M、Whisper-medium-300M、ChatTTS-200M 和 Qwen2.5-7B 构建，共 8B 参数，通过端到端方式训练和推理。
2025-05-07 14:36:31
954
原创 【大模型系列篇】Qwen3思考预算及思考模式切换实现原理探索
我们之前一期有介绍过阿里发布并开源的Qwen3大语言模型，无缝集成思考模式、多语言和MCP智能体。而在本次开源的 Qwen3 的更新中，核心亮点之一是支持思考模式的切换。Qwen3 既可以在思考模式下深思熟虑，也可以在非思考模式中提供快速的响应。更重要的是，这两种模式的结合增强了 Qwen3 实现稳定且高效的“思考预算”控制能力。如下图所示，随着思考预算分配的提升，模型在评测集上的得分也逐渐提升。
2025-05-07 09:00:00
2061
原创 【容器化】Docker容器技术入门基础教程
Docker 基于 Linux 容器（LXC） 技术，利用内核的 Cgroup（资源隔离） 和 命名空间（进程隔离） 实现应用的独立运行环境。的意思是直接使用宿主机网络，相当于去掉了容器的网络隔离（其他隔离依然保留），所有的容器会共享宿主机的IP地址和网卡。，也就是桥接模式，它有点类似现实世界里的交换机、路由器，只不过是由软件虚拟出来的，容器和宿主机再通过虚拟网卡接入这个网桥（图中的docker0。容器（Container）是镜像的运行实例，是动态的、隔离的轻量级环境。容器可启动、停止、删除，且相互隔离。
2025-05-06 14:26:52
960
原创 【大模型系列篇】开启AI自主科研新时代：WebThinker开源深度研究框架
WebThinker 是一个开源的深度研究框架，由中国人民大学自然语言处理实验室（RUC-NLPIR）推出。WebThinker 使大型推理模型（LRM） 能够在他们的思考过程中自主搜索 、 深入探索网页和起草研究报告。与通常使用具有预定义工作流的检索增强生成 （RAG） 的现有开源深度搜索代理不同，它一个面向复杂问题解决与科研写作的推理智能体，赋予了大型推理模型自主执行网络搜索、深度网页探索、内容整合与科研报告撰写的端到端能力，旨在解决传统模型依赖静态知识库、难以处理复杂知识密集型任务的局限性。
2025-05-06 13:00:35
1067
原创 【容器化】Linux环境Docker在线与离线安装手册
Docker是一组平台即服务（PaaS）的产品。它基于操作系统层级的虚拟化技术，将软件与其依赖项打包为容器。托管容器的软件称为Docker引擎。Docker能够帮助开发者在轻量级容器中自动部署应用程序，并使得不同容器中的应用程序彼此隔离，高效工作。该服务有免费和高级版本。它于2013年首次发布，由Docker, Inc.开发。安装要求Linux内核版本≥3.10。
2025-04-30 17:44:40
562
原创 【大模型系列篇】Qwen3开源全新一代大语言模型来了，深入思考，更快行动
Qwen3 采用混合专家（MoE）架构，总参数量 235B，激活仅需 22B。Qwen3 预训练数据量达 36T，并在后训练阶段多轮强化学习，将非思考模式无缝整合到思考模型中。Qwen3 在推理、指令遵循、工具调用、多语言能力等方面均大幅增强。
2025-04-30 14:02:28
1137
原创 【大模型系列篇】从RAG到Agent：Dify×RAGFlow 如何实现企业级知识库的「认知跃迁」？
很早之前我们有使用过Dify来加速AI应用开发和构建企业级智能问答系统，今天我们再来认识下RAGFlow，以及Dify如何外接RAGFlow知识库大脑，提升精准检索能力，告别大模型幻觉问题，完成企业级知识库的认知跃迁。破局大模型知识瓶颈：Dify+RAGFlow的混合检索。
2025-04-24 16:35:57
805
原创 【大模型系列篇】智能体协作革命：ANP/A2A/MCP协议矩阵与智能体生态蓝图
今天我们来聊聊ANP/A2A/MCP三种协议框架及其智能体生态蓝图，Google-A2A协议（Agent-to-Agent协议）、Anthropic-MCP协议（模型上下文协议） 、比特智元科技-ANP协议（Agent网络协议）。AI联邦时代将通过分层整合ANP、MCP与A2A，可构建兼具灵活性、安全性与效率的智能体生态系统，推动AI从单点工具向群体协作进化。
2025-04-23 11:08:16
631
原创 【Python编程】Python高性能异步Web框架Sanic
Sanic一款高性能的异步Web框架，它基于异步编程模型（ASGI），使用uvloop事件循环优化 I/O 性能，单节点可处理 10k+ 并发连接，甚至在高并发场景下延迟低于 FastAPI。那么 Sanic 为什么这么快呢？首先它是一个异步框架，使用了 Python 中的协程。而提到协程必然少不了事件循环，而事件循环的构建依赖第三方库 uvloop。uvloop 使用 Cython 编写，基于 libuv，它可以让 asyncio 变得更快。
2025-04-17 17:54:10
1002
原创 【大模型系列篇】使用LangGraph-Studio搭建本地深度研究工具：ollama-deep-researcher
Local Deep Researcher 是一款完全本地的网络研究助手，它可以使用由 Ollama 或 LMStudio 托管的任何大型语言模型 (LLM)。用户只需提供一个主题，它将生成一个网络搜索查询，收集相关的网页搜索结果（默认情况下通过），总结搜索结果，并反思总结以检查知识差距，发掘知识空白。接着，生成新的搜索查询，并重复用户定义的循环次数，继续深入研究以解决差距改进总结。最终它将为用户提供一个markdown 格式总结，其中包含用于生成总结的所有资源。
2025-04-17 10:49:35
1159
原创 【大模型系列篇】深度研究智能体技术演进：从DeepResearch到DeepResearcher，如何重构AI研究范式
DeepResearcher 创新性地提出了在真实世界网络环境中进行端到端强化学习训练深度研究智能体的框架，有效解决了传统方法在开放域任务中的局限性，通过多智能体架构和技术创新，显著提升了智能体的研究能力和泛化性，并揭示了涌现的规划、交叉验证、反思和诚实等认知行为，强调了真实世界环境对于训练鲁棒智能体的根本重要性。
2025-04-15 14:43:29
1141
原创 【大模型系列篇】基于Ollama和GraphRAG v2.0.0快速构建知识图谱
GraphRAG是一种结合了知识图谱和大型语言模型的检索增强生成（RAG）技术。它通过引入图结构化的知识表示和处理方法，显著提升了传统RAG系统的能力，为处理复杂和多样化数据提供了强有力的支持。更多介绍可以跳转《最强检索增强技术GraphRAG基本原理详解》阅读。本期我们将基于GraphRAG v2.0.0版本结合Ollama本地部署的大模型来快速构建知识图谱。
2025-04-11 15:53:49
1265
原创 【大模型系列篇】最强检索增强技术GraphRAG基本原理详解
GraphRAG技术的核心原理在于将知识图谱与图机器学习相结合，通过结构化的知识表示和高效的图算法，提升大型语言模型在处理复杂数据时的理解和推理能力。具体来说，GraphRAG首先将非结构化的文本数据转换为结构化的图谱形式，其中文本中的实体和概念被视为图中的节点，而它们之间的关系则构成节点之间的边。最后，由于GraphRAG需要处理大量外部数据，包括敏感的个人信息或商业机密，如何在确保模型性能的同时保护隐私和遵循道德规范，是其未来发展需要考虑的重要问题。
2025-04-11 10:45:08
789
原创 【大模型系列篇】大模型基建工程：基于 FastAPI 自动构建 SSE MCP 服务器 —— 进阶篇
🔥FastAPI 基于 Starlette 和 Uvicorn，采用异步编程模型，可轻松处理高并发请求，尤其适合 MCP 场景下大模型与外部系统的实时交互需求，其性能接近 Node.js 和 Go，在数据库查询、文件操作等 I/O 密集型任务中表现卓越。这种架构既保留了 FastAPI 的高效开发体验，又通过 MCP 协议实现了与前沿 AI 技术的无缝对接，同时结合 Docker 和 Kubernetes 实现弹性伸缩部署，可以快速应对大模型调用量的突发增长，是构建下一代智能系统的理想选择。
2025-04-03 22:03:15
579
原创 【大模型系列篇】大模型基建工程：基于 FastAPI 自动构建 SSE MCP 服务器
🔥FastAPI 基于 Starlette 和 Uvicorn，采用异步编程模型，可轻松处理高并发请求，尤其适合 MCP 场景下大模型与外部系统的实时交互需求，其性能接近 Node.js 和 Go，在数据库查询、文件操作等 I/O 密集型任务中表现卓越。这种架构既保留了 FastAPI 的高效开发体验，又通过 MCP 协议实现了与前沿 AI 技术的无缝对接，同时结合 Docker 和 Kubernetes 实现弹性伸缩部署，可以快速应对大模型调用量的突发增长，是构建下一代智能系统的理想选择。
2025-04-02 14:18:32
1873
2
原创 【大模型系列篇】构建智能体MCP客户端：完成大模型与MCP服务端能力集成与最小闭环验证
上期我们通过fastmcp开发了Python版本的天气预报MCP Server，同时使用了MCP Inspector工具调试了天气预报接口，详见《使用Python开发MCP Server及Inspector工具调试》，本期我们构建MPC客户端来调用上期部署的天气预报MCP服务端，同时接入大模型对话功能。
2025-03-27 16:21:09
1211
原创 【大模型系列篇】使用Python开发MCP Server及Inspector工具调试
基于fastmcp开发python版本weather mcp server， 并通过MCP Inspector连接进行调试。MCP Inspector 是专为 Model Context Protocol（MCP）服务器设计的交互式调试工具，支持开发者通过多种方式快速测试与优化服务端功能
2025-03-26 18:15:12
3329
原创 【大模型系列篇】深剖AutoGen多智能体协作框架发展脉络，快速入门简单示例
AutoGen 起初由微软研究院团队开发，最初定位为多智能体协作框架 ，通过多个 AI 智能体（Agent）的对话协作解决复杂任务。提供底层工具链，支持自定义智能体、任务分解、对话编排等，开发者可通过少量代码实现复杂流程。2024年9月，AutoGen 核心团队与微软分道扬镳，创建了原项目的GH分支。最终，在11月，他们成立了新的 AG2 GitHub 组织和新的仓库，同时接管了 PiPy 的autogen和pyautogen包。
2025-03-26 11:16:25
963
原创 【Python编程】使用python-dotenv进行高效的环境变量管理
python-dotenv 是一个 Python 库，用于从 .env 文件中加载环境变量到你的应用程序中。这是管理敏感信息（如数据库凭证、API 密钥和配置参数）的一种安全而灵活的方式，而无需将这些信息硬编码到代码中。
2025-03-25 17:18:41
334
原创 【大模型系列篇】深度解锁MCP模型上下文协议，赋能大模型玩转智能体
MCP（Model Context Protocol）是一个开放协议，用于标准化应用程序向大语言模型提供上下文的方式。可以将 MCP 想象成 AI 应用程序的 USB-C 接口。就像 USB-C 为设备连接各种外设和配件提供了标准化方式一样，MCP 为 AI 模型连接不同的数据源和工具提供了标准化方式。该协议用于将AI助手连接到数据所在系统，包括内容库、业务工具和开发环境。其目的是帮助前沿模型生成更好、更相关的响应。
2025-03-20 17:44:42
1452
原创 【大模型系列篇】硅基智能开源数字人模型HeyGem.ai，开启数字人时刻
Heygem是一款专为Windows系统设计的全离线视频合成工具，它能够精确克隆您的外貌和声音，让您的形象数字化。您可以通过文字和语音驱动虚拟形象，进行视频制作。无需联网，保护隐私的同时，也能享受到便捷和高效的数字体验。核心功能精确外貌与声音克隆：运用先进的 AI 算法，高精度捕捉真人外貌特征，包括五官形状、面部轮廓等，构建逼真虚拟模型。同时，能精准克隆声音，捕捉并还原人声的细微特征，支持多种声音参数设置，可创造与原声高度相似的克隆效果。
2025-03-19 16:19:20
1894
原创 【大模型系列篇】Claude (Anthropic) 高效智能体构建指南
智能体（Agent）可以从多个角度进行定义。一些客户将智能体定义为完全自主的系统，这些系统能够在较长时间内独立运行，并使用各种工具来完成复杂任务。另一些客户则用这一术语来描述遵循预定义工作流程的规范性实现。在大语言模型（LLMs）领域取得成功，并不是要构建最复杂的系统，而是要构建适合需求的系统。从简单的提示开始，通过全面评估进行优化，只有在简单解决方案不足时，才考虑添加多步骤的智能体系统。
2025-03-12 17:23:15
1211
原创 【大模型系列篇】解锁谷歌AI Agent智能体技术白皮书，跨入智能体时代
智能体是一种应用程序，它能通过观察周围世界，并利用其可支配的工具来实现特定目标。智能体具备自主性，能够在没有人类干预的情况下独立行动，甚至在没有明确的人类指令集时，也能主动推理下一步如何实现最终目标。智能体是有自主能力的，只要提供了合适的目标，它们就能独立行动，无需人类干预；即使是模糊的人类指令，智能体 也可以推理出它接下来应该做什么，并采取行动，最终实现其目标。
2025-03-12 13:57:20
949
原创 【大模型系列篇】GRPO算法实战-复现Qwen2.5-1.5B-Instruct的DeepSeek-R1顿悟时刻
本文将快速上手实践DeepSeek提出的GRPO算法，并手动复现DeepSeek R1论文中的模型顿悟时刻，即通过GRPO训练，让模型诞生思考链。这也是整个DeepSeek R1模型训练的至关重要的环节，也是DeepSeek R1模型为大模型技术做出的卓越贡献。不同于传统的强化学习训练算法，或者常用的PPO算法，GRPO算法更加省时高效，通过暴力枚举策略、以及自我策略对比的方法快速提升模型在推理问题上制定策略的能力。这也是目前强化学习领域、被验证的最有效的提升大模型推理能力的方法。
2025-03-06 14:41:20
2519
1
原创 【Python编程】Python交互式应用框架巅峰对决 —— Streamlit vs Gradio
Streamlit 和 Gradio 都是非常受欢迎的 Python 交互式应用框架, 但在构建 Python 交互式 Web 应用时该如何选择？Gradio 专注于为机器学习模型与数据科学应用打造交互界面。其核心优势在于能用极简代码快速创建用户友好型 AI 演示系统，因此深受 ML 研究者及从业者青睐。Streamlit 是一款开源 Python 库，旨在帮助开发者快速构建交互式数据驱动型 Web 应用。它以极简主义设计为核心，仅需数行代码即可搭建功能完整的仪表盘。
2025-03-05 15:37:54
1303
原创 【Python编程】高性能Python Web服务部署架构解析
Uvicorn是一个ASGI服务器，专为异步Web应用设计。Gunicorn是一个WSGI（Web Server Gateway Interface）服务器，适用于同步的Web应用。FastAPI + Uvicorn/Gunicorn：现代异步应用的黄金组合，兼顾开发效率和生产稳定性。Flask + Gunicorn：传统同步应用的标准选择，简单可靠但无法发挥异步性能。
2025-03-05 14:12:41
1120
原创 大模型从零开始——大型语言模型简史
「语言模型」是一种「人工智能系统」，旨在处理、理解和生成类似人类的语言。它们从大型数据集中学习模式和结构，使得能够产生连贯且上下文相关的文本，应用于翻译、摘要、聊天机器人和内容生成等领域。
2025-03-04 17:23:24
718
原创 【大模型系列篇】国产开源大模型DeepSeek-V3技术报告解析
DeepSeek-V3是一款强大的混合专家（MoE）语言模型，总参数量为671B，每个Token激活37B参数。为了实现高效的推理和成本效益高的训练，DeepSeek-V3采用了多头潜在注意力(MLA)和DeepSeekMoE混合专家模型架构，这些架构已经在DeepSeek-V2中得到了充分验证。开创了无辅助损失的负载均衡策略，并设定了多Token预测训练目标(MTP)以增强性能。
2025-03-04 15:37:37
1230
原创 【大模型系列篇】DeepSeek开源周，解锁AI黑科技
DeepSeek开源周，解锁AI黑科技。day1：FlashMLA —— GPU推理加速器，day2：DeepEP —— 专家模型通信枢纽，day3：DeepGEMM —— 矩阵运算新标杆，day4：DualPipe & EPLB —— 并行计算的交响指挥，day5：3FS & Smallpond —— 数据洪流的超导管道。
2025-02-28 15:54:20
857
原创 【大模型系列篇】初探Unsloth微调DeepSeek-R1蒸馏模型
🔥🔥🔥 本文初探使用Unsloth微调DeepSeek-R1蒸馏模型DeepSeek-R1-Distill-Qwen-7B，使用了COT思维链数据进行Lora微调，微调后模型合并权重导出，并使用llama.cpp进行gguf格式转换和量化，通过ollama创建并加载模型，进行部署。
2025-02-27 17:48:51
2266
原创 【大模型系列篇】大模型微调工具 LLama-Factory、Unsloth、ms-SWIFT
入手学习大模型微调，首先推荐功能层次封装层次较高的微调三剑客：Unsloth、 Llama-Factory和ms-SWIFT。除此之外，也可以借助更加底层的库，如peft、 LoRA、 transformer等实现高效微调。
2025-02-26 14:49:13
2287
原创 【大模型系列篇】DeepSeek团队最新研究成果——原生稀疏注意力(NSA)
长上下文建模对于下一代语言模型至关重要，然而标准注意力机制的高计算成本带来了巨大的计算挑战。稀疏注意力为在保持模型能力的同时提高效率提供了一个有前景的方向。DeepSeek团队发布的最新研究成果——原生稀疏注意力(NSA)给出了答案。DeepSeek NSA 采用动态分层稀疏策略，将粗粒度的标记压缩与细粒度的标记选择相结合，以兼顾全局上下文感知和局部精度。NSA技术能够在不依赖堆算力的情况下，让大模型在处理长上下文、推理以及模型训练时，表现出高效率和高性能。
2025-02-25 11:53:23
953
原创 【大模型系列篇】如何解决DeepSeek-R1结构化输出问题，使用PydanticAl和DeepSeek构建结构化Agent
deepseek官方明确表示deepseek-r1目前不支持json输出/function call，可点击跳转至查看。从deepseek-r1论文末尾对未来工作的展望中，我们知道deepseek团队将在deepseek-r1的通用能力上继续探索加强，包括函数调用、多轮对话、复杂角色扮演和json输出等任务上的能力。如何解决DeepSeek-R1结构化输出问题，本文将使用PydanticAl和DeepSeek构建结构化Agent。
2025-02-24 16:27:25
1533
原创 【大模型系列篇】DeepSeek-R1如何通过强化学习有效提升大型语言模型的推理能力？
DeepSeek-R1-Zero：纯强化学习，直接在基础模型上应用强化学习，不使用任何 SFT 数据。探索 LLM 在纯 RL 环境下的自演化过程，使其自主发展推理能力。DeepSeek-R1：冷启动 + 多阶段训练使用少量高质量长链思维(CoT)数据进行冷启动，预热模型。进行面向推理的强化学习，提升模型在推理任务上的性能。使用拒绝采样和监督微调，进一步提升模型的综合能力。再次进行强化学习，使模型在所有场景下都表现良好。知识蒸馏：将 DeepSeek-R1 的推理能力蒸馏到更小的模型。
2025-02-20 17:29:34
1029
原创 大模型从零开始——Transformer代码解读
Transformer代码解读 - 来自哈佛大学NLP实验室关于Transformer的一篇开源博客The Annotated Transformer。由编码器和解码器组成，每个编码器层由两个子层连接结构组成：第一个子层包括一个多头自注意力层；第二个子层包括一个逐位前馈全连接层；每两个子层的前后都采用了残差连接，然后进行层归一化；每个解码器层由三个子层连接结构组成，第一个子层连接结构包括一个掩码多头自注意力子层，第二个子层连接结构包括一个多头注意力子层，第三个子层连接结构包括一个逐位前馈全连接子层。
2025-02-18 14:03:24
1707
CKKS全同态加密技术《Introduction to CKKS》
2024-10-24
大语言模型综述中文版《A Survey of Large Language Models》
2024-08-12
不经意传输协议研究综述-软件学报2023
2024-07-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人