- 博客(288)
- 资源 (8)
- 收藏
- 关注
RSS订阅
原创 MCTS-RAG：通过树搜索重塑小模型中的检索增强生成（RAG）
MCTS-RAG框架的核心思想是在推理过程中动态结合检索操作，探索多个推理路径，并在关键决策点评估中间状态。具体来说，框架在每个MCTS决策点设计了六种离散动作，包括直接回答、快速推理、分解问题、检索推理、检索分解和总结回答。这些动作帮助模型在推理过程中灵活地结合外部知识，从而提高准确性
2025-05-22 00:45:00
1247
46
原创 从零开始用Python构建一个推理LLM(类似 o3 和 DeepSeek-R1)：详细的端到端指南
本文介绍了如何从零开始使用 Python 创建一个 200 万参数的推理型语言模型（LLM），并逐步通过预训练、有监督微调（SFT）和基于人类反馈的强化学习（RLHF）三个阶段赋予其推理能力。作者详细展示了如何训练分词器、构建 Transformer 模型、设计数据集加载器，并通过代码示例和训练循环展示了每个阶段的实现过程。最终，模型能够生成包含“思考”和“回答”标签的推理式回答，尽管在小数据集上表现有限，但在更大数据集上训练时表现出了较好的推理能力。
2025-05-21 02:45:00
1450
30
原创 RAG-MCP：通过检索增强生成缓解大型语言模型工具选择中的提示膨胀问题
RAG-MCP框架通过结合检索增强生成（RAG）原则和MCP框架，解决了LLMs在外部工具选择中的提示膨胀和决策复杂性问题。该框架的核心是语义检索模块，它将工具元数据表示为向量空间中的点，并高效匹配用户查询与最相关的工具，从而减少提示大小和复杂性，提高决策准确性。MCP压力测试表明，随着工具数量的增加，传统方法面临提示膨胀和决策开销问题，而RAG-MCP通过动态检索最相关的工具，显著提高了选择准确性和系统可扩展性。实验结果显示，RAG-MCP在选择准确性、提示令牌使用和任务成功率方面优于基线方法。然而，该方
2025-05-19 01:15:00
2652
12
原创 Qwen-3 微调实战：用 Python 和 Unsloth 打造专属 AI 模型
本文详细介绍了如何利用 Python 和 Unsloth 对 Qwen-3 模型进行微调，以打造专属的 AI 模型。文章首先强调了 Qwen-3 在各项基准测试中的出色表现，随后详细阐述了微调所需的 Python 库、计算资源以及数据准备策略。接着，通过具体的代码示例，展示了从模型初始化、添加 LoRA 适配器到数据预处理、模型训练以及推理的全过程。最后，还介绍了如何保存和推送微调后的模型至 Hugging Face Hub，为读者提供了一套完整的实战指南。
2025-05-15 02:00:00
2186
49
原创 测试17种引导AI的提示工程技巧:从零样本到更复杂的ReAct
本文探讨了在1B参数的LLaMA模型上测试17种提示工程技巧的效果，旨在通过优化提示方式提升小型LLM的生成结果。文章首先介绍了提示工程的重要性，强调通过改进提示内容可以引导模型生成更准确、创意或可靠的回答。接着，文章详细描述了如何搭建测试环境，包括加载模型和定义相关函数。随后，文章通过具体示例展示了零样本、少样本和角色提示等技巧的应用。零样本提示适用于简单任务，而少样本提示通过提供示例帮助模型更好地理解复杂任务。角色提示则通过指定模型扮演特定角色来调整回答的风格和内容。这些技巧的测试结果表明，合理使用提示
2025-05-14 20:00:00
1851
25
原创 构建最优的 RAG 检索增强生成系统：为你的数据集找到最优解
本文介绍了如何为数据集创建最佳的RAG（检索增强生成）管道。通过系统性地测试不同的参数组合（如分块大小、重叠度、检索数量）和策略（简单RAG、查询重写、重排），结合忠实度、相关性和语义相似度等评估指标，找出最适合特定数据集的RAG配置。实验结果表明，简单RAG策略在效率和效果上表现最佳。文章还提出了未来可进一步探索的方向，如测试更多模型、优化提示和混合搜索策略等。
2025-05-05 00:30:00
1231
44
原创 详解如何一步步拿下企业年报问答RAG挑战赛冠军
本文揭秘如何斩获企业级RAG挑战赛双料冠军的完整技术方案。面对100份千页PDF年报的极限解析任务，他创新性地组合了GPU加速解析、多级检索路由和LLM重排序等技术：先用改造后的Docling解析器40分钟完成文本提取，再通过"小块定位+整页返回"的检索策略平衡精度与上下文，最后用结构化提示词工程让GPT-4o-mini在2分钟内完成100道题的高精度作答。文章幽默呈现了与PDF格式的搏斗历程，揭示了表格序列化实验的反转结局，并强调冠军方案的核心在于对业务场景的深度理解
2025-04-15 00:00:00
7529
58
原创 详解如何复现DeepSeek R1:从零开始利用Python构建
本文详细介绍了从零开始构建 DeepSeek R1 的过程，涵盖了从基础模型选择、训练数据准备到多阶段训练的完整流程。首先，通过强化学习（RL）和 GRPO 算法训练出 R1 Zero，解决了基础模型的推理能力问题。接着，通过监督式微调（SFT）和冷启动数据，进一步优化模型的推理风格和语言一致性。最后，通过推理导向的强化学习、拒绝采样以及知识蒸馏等技术，不断提升模型的推理质量和实用性，最终得到高效且推理能力强的 DeepSeek R1 模型。整个过程不仅注重技术实现，还通过详细示例和代码，让读者能够清晰地理
2025-04-11 00:00:00
3789
58
原创 详解如何从零用 Python复现类似 GPT-4o 的多模态模型
在这篇博客中，我们从零开始构建了一个多模态模型，能够处理文本、图像、视频和音频，并根据文本提示生成图像。我们首先实现了 BPE 分词器，将文本分解为子词标记。接着，我们构建了一个基于 Transformer 的语言模型，能够生成文本。然后，我们将模型扩展为多模态，通过 ResNet 提取图像特征，并将这些特征与文本结合，使模型能够回答关于图像的问题。我们还展示了如何通过文本提示生成图像特征向量，并找到最接近的已知图像。整个过程不仅展示了多模态模型的强大能力，还揭示了其在实际应用中的潜力。
2025-04-10 00:00:00
14930
105
原创 如何使用 FastAPI 构建 MCP 服务器
哎呀，各位算法界的小伙伴们！今天咱们要聊聊一个超酷的话题——MCP 协议！你可能已经听说了，Anthropic 推出了这个新玩意儿，目的是让 AI 代理和你的应用程序之间的对话变得更顺畅、更清晰。不过别担心，为你的 Python 应用程序搭建一个这样的服务器并不复杂，甚至可以说简单到让你怀疑人生！想象一下，AI 就像你的私人助理，而 MCP 就是它和你家大门之间的钥匙。让 AI 去操心那些繁琐的逻辑吧，咱就负责躺平享受成果。不管你是想连数据库还是接 API，MCP 都能帮你搞定。
2025-03-31 11:20:36
2625
35
原创 使用Python从零开始构建千万级参数的大型语言模型（LLM）
徒手pytho撸出Transformer架构并一步步训练处一个LLM大模型
2025-03-22 00:15:00
1378
10
原创 图解LLM智能体(LLM Agents)：构建与运作机制的全面解析
本文深入探讨了大型语言模型（LLM）智能体的构建与运作机制，涵盖其核心组件和多智能体框架。LLM智能体通过外部工具、记忆系统和规划能力弥补了传统LLM的不足，能够执行复杂任务并展示自主行为。文章详细介绍了记忆模块（短期与长期记忆）、工具使用（如Toolformer和MCP协议）以及规划与推理技术（如ReAct和Reflexion）。此外，多智能体系统的协作框架被提出，用于解决单一智能体在工具选择、上下文复杂性和任务专业化上的局限性。生成式智能体（Generative Agents）模拟人类行为的研究展示了多
2025-03-18 13:35:10
2135
5
原创 徒手打造个人AI Agent:基于DeepSeek-R1+websearch从零构建类Manus深度探索智能体AI-Research
该系统能够在预定义的主题上进行深入研究。研究计划：这意味着创建一个研究报告大纲，这将成为系统的最终输出。将上述内容拆分为可管理的步骤。对报告的各个部分进行深入研究。针对推理所需的数据，进行全面的分析，并利用网络搜索工具支持分析。反思研究过程中不同步骤生成的数据，并改进结果。总结检索到的数据，并生成最终的研究报告。今天，我们将实现上述所有步骤，而不使用任何LLM编排框架。首先，我们需要定义整个系统的状态，该状态将在代理运行过程中不断演变，并被系统的不同部分选择性地使用。
2025-03-16 00:15:00
1950
17
原创 【开源+代码解读】Search-R1：基于强化学习的检索增强大语言模型框架3小时即可打造个人AI-search
强化学习驱动检索：首次将RL应用于LLM与搜索引擎的多轮交互，突破传统监督学习限制。轻量化奖励设计：仅用结果奖励即可引导模型学习复杂检索策略。结构化生成框架：通过标记控制生成流程，兼容不同RL算法。
2025-03-13 13:57:02
3075
17
原创 从理解强化学习及其在 LLM 中的作用开始手把手教你构建DeepSeek-R1推理模型
本文深入探讨了强化学习（RL）在大型语言模型（LLM）训练中的应用，特别是通过人类反馈强化学习（RLHF）技术对齐人类偏好。文章重点介绍了组相对策略优化（GRPO）这一创新算法，其通过生成多个响应组、组内归一化优势计算和KL散度约束，显著提升了训练效率和稳定性。此外，本文详细解析了DeepSeek R1模型的四阶段训练流程，展示了其在数学和编程任务中的卓越表现。最后，文章还介绍了如何在TRL库中实现GRPO，并提供了配置参数、奖励函数设计和训练监控指标等实用建议
2025-03-05 01:15:00
1936
11
原创 基于A2A、ADK和MCP打造多代理AI应用：深度解析与实战代码
### **摘要**本文深入探讨了如何利用谷歌的Agent-2-Agent（A2A）协议、Agent Development Kit（ADK）以及Model Control Protocol（MCP）构建多代理AI应用。文章首先回顾了MCP和ADK的核心概念，随后详细介绍了A2A协议的特点，包括基于任务的通信、代理发现、框架不可知的互操作性等。通过一个旅行规划系统的实战案例，展示了如何使用A2A协议实现航班搜索、酒店搜索和行程规划等多个代理之间的协作。文中不仅提供了详细的代码实现
2025-05-28 07:59:12
397
原创 用 ADK 和 MCP 打造智能代理，拯救世界从这里开始
本文介绍了如何使用 Google 的 Agent 开发工具包（ADK）和模型上下文协议（MCP）构建智能 AI 代理，并整合 Gemini 大型语言模型作为 MCP 客户端。详细讲解了从环境搭建到代码实现的全过程，包括代理类型（LLM代理、工作流代理、自定义代理）、工具集成方式及 MCP 服务器连接方法。文章提供完整技术教程，适合 AI 代理开发者学习，源码可在 GitHub 获取。通过 ADK + MCP + Gemini 的组合，开发者能构建具备动态任务执行和外部交互能力的 AI 代理系统。
2025-05-27 19:25:48
490
1
原创 打造AI智能旅行规划器：基于LLM和Crew AI的Agent实践
如何利用代理型人工智能（Agentic AI）技术构建一个智能旅行规划器。通过结合Google Gemini LLM的强大语言处理能力和Crew AI的多代理协作框架，该系统能够自动完成旅行规划的复杂任务，包括实时航班搜索、酒店推荐以及行程生成。系统通过多个专门的AI代理协同工作，提供个性化的旅行建议，显著提升了用户体验。文章还详细介绍了系统的实现步骤、技术细节以及如何通过Streamlit构建用户友好的前端界面，展示了AI在旅行规划领域的强大潜力和应用前景。
2025-05-27 15:18:31
684
6
原创 多查询检索在RAG中的应用及为什么平均嵌入向量效果好
本文探讨了提升RAG系统性能的两种方法：多查询检索和结果合并。通过生成多个相似查询，可以降低检索波动，提高准确性。结果合并可采用互惠排名融合(RRF)或平均嵌入向量法，前者保留更多信息但计算成本高，后者简单高效且能显著降低方差。选择方法需根据查询复杂度决定，多查询RAG应用简单有效，平均嵌入向量特别适合降低检索波动。研究表明，这些方法能显著提升RAG系统的检索质量。
2025-05-26 22:00:00
1276
3
原创 如何使用SPLADE让你的LLM RAG 检索更上一层楼
SPLADE是一种基于BERT的稀疏检索模型，用于检索增强生成（RAG）系统。它将查询和文档转换为稀疏向量，通过点积计算相似度分数。SPLADE具有稀疏性和查询扩展两大特性：稀疏向量高效存储且计算更快，而查询扩展能自动学习同义词以提高检索性能。模型使用WordPiece分词器处理输入文本，并通过最大池化操作生成权重向量。实际应用中，SPLADE能扩展查询内容（如将"cat"扩展为"cats"、"kitty"等），同时过滤常见词。通过Python代码
2025-05-26 08:20:41
721
4
原创 通过高效记忆算法将LLM API成本降低 40%：让LLM 只记住重要的事情
本文利用高效记忆算法，可将LLM聊天机器人的API调用成本降低40%。该方案通过智能区分用户输入中的"陈述"和"问题"，仅对问题生成完整响应，从而减少不必要的标记使用。在营销活动策划场景的测试中，随着对话轮次增加，相比传统方法(所有对话历史均传递)，新算法显著减少了总标记数量。关键技术包括：陈述内容提取关键事实、记忆存储的动态更新机制(添加/更新/无操作)，以及基于语义相似度的检索系统。实验结果显示，在创建儿童故事
2025-05-25 09:30:10
1014
1
原创 Mem0：构建具备可扩展长期记忆的生产级 AI 代理
Mem0 成功模仿人类记忆机制，赋予大语言模型长期可靠的记忆能力，使模型不仅能 “记住” 信息，还能 “理解” 记忆中实体关系，在长时间对话中保持回答一致性与准确性，为实现更智能的人机交互提供了新途径
2025-05-25 09:07:53
998
2
原创 NodeRAG: 基于异构节点的基于图的RAG结构
NodeRAG，一种通过优化图结构来提高RAG性能的新框架。NodeRAG构建了一个定义良好的异构图，具有功能不同的节点，平衡了细粒度理解和知识语料库的全局视角。实验结果表明，NodeRAG在多跳推理基准测试和开放式检索任务中优于现有方法。论文强调了图结构在基于图的RAG中的关键作用，鼓励重新关注其设计和优化。
2025-05-24 12:41:33
1002
2
原创 ReAct 与 CoAct：AI 代理的推理与行动之旅
ReAct 和 CoAct 是两种将推理与行动结合的 AI 代理框架，旨在提升自主系统的能力。ReAct 通过让单一代理交替进行推理和行动，结合内部思维链与外部环境互动，显著提升了复杂任务的解决能力。它通过提示机制实现，适用于知识密集型任务和决策制定，增强了代理的透明度和适应性。然而，随着任务复杂性和长度的增加，ReAct 在记忆和规划深度方面面临挑战。CoAct 则通过引入多个代理的协作层级结构，将任务分解为全局规划和本地执行，提升了处理长周期任务的效率和鲁棒性。全局规划器负责高层次战略，本地执行器专注于
2025-05-23 21:18:04
989
5
原创 深入理解 PlaNet（Deep Planning Network）：基于python从零实现
PlaNet（Deep Planning Network）是一种基于模型的强化学习智能体，旨在通过从高维观测（如图像）中学习环境动态模型来提高样本效率。其核心创新在于在低维潜在空间中学习动态模型，而非原始观测空间，这使得模型学习和规划更加高效。PlaNet 的架构包括学习世界模型、在潜在空间中规划、执行动作和收集数据。通过学习动态模型，PlaNet 能够在潜在空间中模拟未来轨迹，并使用交叉熵方法（CEM）优化动作序列以最大化预测累积奖励。PlaNet 的优势在于其高样本效率、处理图像输入的能力以及有效规划，
2025-05-23 00:15:00
682
4
原创 理解大型语言模型中的 KV 缓存
大型语言模型（LLMs）在生成文本时，通常是一个词元（token）一个词元地生成，每次生成一个词元后，将其作为输入来预测下一个词元。然而，这种逐词生成的方式会导致模型在每一步中重复计算大量相同的工作，从而降低效率。为了解决这个问题，引入了 KV 缓存 技术。KV 缓存通过存储每个步骤中计算出的键（Key）和值（Value）向量，避免重复计算，从而显著提高模型的推理速度。尽管 KV 缓存会占用额外的 GPU 内存，但它在现代大型语言模型中被广泛应用，以优化生成效率。实验表明，使用 KV 缓存可以将生成速度提升
2025-05-22 00:15:00
1654
1
原创 理解分层演员-评论家HAC算法：python从零实现
本文详细介绍了分层演员-评论家（HAC）算法，这是一种用于解决复杂、长期任务的分层强化学习方法。HAC 通过多级策略实现任务分解，高层设定子目标，低层执行动作以达成目标。其关键机制包括目标条件学习、内在奖励、事后目标转换以及离线学习。HAC 在网格世界环境中展示了其有效性，尽管学习过程复杂，但通过分层结构显著提高了样本效率和任务解决能力。该算法在机器人技术、导航和游戏玩法等领域具有广泛的应用前景。
2025-05-21 00:15:00
795
原创 特定领域 RAG中细调嵌入模型能否提升效果？
本文探讨了在特定领域 RAG（Retrieval-Augmented Generation）流水线中微调嵌入模型的作用，尤其是在检索和生成阶段的影响。通过结合微调嵌入模型和预训练嵌入模型，系统能够更有效地捕获和存储特定领域的上下文信息，从而提高语言模型生成响应的准确性和上下文理解能力。用户查询通过这两个模型处理，提取有意义的表示并检索最相关的上下文信息，随后传递给大型语言模型（LLM）生成响应并评估其质量。评估指标包括“答案相关性得分”和“上下文相关性得分”，这些分数通过仪表板可视化，帮助持续优化系统性能。
2025-05-20 14:02:40
583
1
原创 深入理解蒙特卡洛树搜索（MCTS）：python从零实现
蒙特卡洛树搜索（MCTS）是一种基于模拟的规划算法，广泛应用于强化学习领域。与无模型强化学习不同，MCTS 依赖于环境模型进行未来轨迹的模拟，从而做出决策。其核心思想是通过引导式模拟逐步构建搜索树，利用统计信息（如访问次数和平均奖励）来平衡探索与利用。MCTS 的优势在于其随时可用性、非对称树增长、无需启发式评估函数以及可并行化特性。它特别适用于状态空间大、分支因子多且环境模型可用的场景，如游戏和规划问题。MCTS 的迭代过程包括选择、扩展、模拟和反向传播四个步骤，通过 UCT 策略选择动作，最终选择访问次
2025-05-20 00:15:00
1000
原创 LLM 增强型搜索：下一代智能检索技术的崛起
本文深入探讨了 LLM 增强型搜索技术，这种结合了大型语言模型（LLM）、检索增强生成（RAG）和智能代理技术的新一代搜索引擎，能够提供更智能、更人性化的搜索体验。与传统搜索引擎相比，LLM 增强型搜索不仅能够理解语义上下文，还能通过多轮对话、个性化推荐以及多模态和跨语言检索等方式，直接为用户提供简洁准确的答案，而不仅仅是网页链接。文章详细介绍了其核心技术架构、工作流程和实现方法，并分析了当前技术的局限性，如在处理位置相关查询时的不足、RAG 功能的不完善以及缺乏有效的评估基准等。同时，文章也展望了未来的发
2025-05-19 05:00:00
1072
7
原创 知识图谱赋能大数据实战指南：从理论到实践的深度解析
本文详细介绍了如何利用知识图谱处理大数据，从数据获取、预处理到实体与关系的提取，再到知识图谱的构建与存储。通过使用Python及其相关库，结合LLM（大型语言模型）的强大能力，我们能够从海量新闻文章中提取有价值的实体和关系，并将其转化为结构化的知识图谱。此外，文章还探讨了知识图谱的可视化、查询分析以及如何通过嵌入技术进行链接预测，为后续的深入研究和应用提供了坚实基础。
2025-05-18 21:00:00
515
原创 用NLP搭建知识图谱：低成本打造RAG和GraphRAG的超酷秘籍
### 摘要本文介绍了一种利用自然语言处理（NLP）技术构建知识图谱的方法，用于实现混合RAG（检索增强型生成）和GraphRAG（图增强型检索）应用。作者提出了一种分层图架构，通过提取文本中的令牌、双词组和三词组，并利用小型本地LLM生成的三元组关系来增强图的语义连接。这种方法避免了对大型云模型的依赖，大大降低了成本，同时提高了检索的准确性和灵活性。实验结果表明，这种混合方法能够提供更全面和深入的答案，为大规模GenAI项目提供了新的解决方案。
2025-05-18 00:15:00
26
原创 三层固定实体架构：高效实现图上的检索增强生成（RAG）
本文介绍了一种用于构建知识图谱的三层架构，结合了固定本体实体、文档片段和提取的命名实体。该架构通过嵌入和余弦相似度提高检索效率，并允许在查询期间更精确地遍历图。第一层（FEL1）代表通过领域专家构建的本体“骨架”，第二层（DL2）由分块文档组成，第三层（SEL3）包括从文档中提取的命名实体。通过计算FEL1和DL2之间的余弦相似度建立连接，SEL3进一步增强了图遍历和检索精度。这种方法提供了一种可扩展且成本效益高的替代大型语言模型（LLM）的方案，符合当前检索增强生成（RAG）系统的发展趋势。
2025-05-17 20:30:00
292
原创 机器学习与人工智能：NLP分词与文本相似度分析
本文介绍了自然语言处理（NLP）中的基础技术，包括分词、文本预处理、词袋模型和余弦相似度。作者通过构建一个简单的Python NLP对象，展示了如何将文本数据转换为计算机可理解的格式，并计算文本之间的相似度。文章详细解释了分词、停用词去除、n-grams生成等预处理步骤，并介绍了词袋模型的基本概念。最后，作者通过余弦相似度公式，展示了如何衡量文本之间的相似性。本文旨在为读者提供NLP的基础知识，并鼓励读者通过DIY方式深入理解这些技术。
2025-05-17 00:15:00
1116
2
原创 基于固定实体架构的图知识库：为检索增强型生成（RAG）注入新动力
本文探讨了在检索增强型生成（RAG）系统中使用固定实体架构（Fixed Entity Architecture，FEA）构建知识图谱的方法。与微软的GraphRAG方法相比，FEA依赖预定义的实体和关系，形成领域本体的“鱼骨”结构，通过简单的数学技术而非大型语言模型（LLM）来构建图，降低了复杂性和计算成本，提高了精度和控制性。文章通过爱因斯坦的名言案例，展示了如何构建知识图谱、添加文档并进行检索。通过向量索引和混合搜索技术，实现了高效的文档检索和知识提取，为RAG应用提供了强大的支持。未来，进一步优化实体
2025-05-16 00:30:00
825
7
原创 深度理解用于多智能体强化学习的单调价值函数分解QMIX算法：基于python从零实现
QMIX 是一种用于合作式多智能体强化学习（MARL）的算法，旨在解决多个智能体在共享奖励环境中的功劳分配问题。其核心思想是通过价值函数分解，将团队的联合行动价值函数 $Q_{tot}$ 分解为各个智能体的效用函数 $Q_i$，并通过单调混合网络将它们组合起来。QMIX 采用集中式训练、分散式执行的范式，确保智能体在训练后能够独立行动。其优势包括有效处理功劳分配、可扩展性强、支持分散式执行以及能够捕捉智能体效用之间的复杂关系。QMIX 广泛应用于星际争霸多智能体挑战、协调游戏和多机器人协作等任务。
2025-05-16 00:15:00
818
1
原创 深度剖析LLM的“大脑”：单层Transformer的思考模式探索
本文深入探索了大型语言模型（LLM）的内部思考机制。通过训练一个单层Transformer模型，并结合稀疏自编码器技术，研究者们试图解读LLM的神经元激活模式。实验发现，经过稀疏处理后，部分神经元能够高度专注于特定概念，如特定语言的后缀、十六进制代码、情态动词等。这表明LLM在某种程度上能够像人类一样对不同概念进行区分和识别。尽管目前的研究仅基于小型模型，但它为理解LLM的“思考”方式迈出了重要一步，未来有望进一步揭示AI组织知识的奥秘。
2025-05-15 00:00:00
1583
原创 用PyTorch在超大规模下训练深度学习模型：并行策略全解析
本文深入探讨了使用 PyTorch 在超大规模下训练深度学习模型时的各种并行策略。从数据并行、张量并行到上下文并行、流水线并行、专家并行，再到 ZeRO 零冗余优化器，文章详细解析了每种技术的原理、实现方法、优点与注意事项，并结合 PyTorch 提供了丰富的代码示例。这些并行策略的组合运用，能够有效应对大规模模型训练中的内存和计算挑战，帮助研究人员突破传统硬件限制，实现更高效、更快速的模型迭代与部署，推动深度学习技术在大规模应用场景中的发展。
2025-05-14 09:52:21
1086
4
原创 量化感知训练与 PyTorch 的哪些事
量化感知训练（Quantization-Aware Training, QAT）是一种在模型训练过程中模拟量化效果的技术，旨在提高模型在低精度环境下的准确性。QAT通过在训练过程中引入“假量化”操作，使模型能够适应量化带来的噪声，从而在最终量化时保持较高的性能。与训练后量化（PTQ）相比，QAT需要更多的计算资源和时间，但通常能获得更好的准确性。QAT的工作流程包括准备阶段、训练阶段和转换阶段，其中训练阶段通过直通估计器（STE）处理梯度，使模型能够补偿量化噪声。PyTorch提供了多种量化模式
2025-05-13 18:54:55
1326
1
原创 Transformer自注意力机制中的缩放原理—— 读了绝对不后悔！
在自注意力机制中，缩放点积注意力的核心目的是控制注意力分数的方差，以确保SoftMax函数的稳定性。当计算查询（Q）和键（K）矩阵的点积时，随着向量维度的增加，点积结果的方差也会显著增大。这会导致SoftMax函数在处理高方差数据时，倾向于将大部分概率分配给极少数值，从而影响模型的性能。 为了解决这个问题，论文《Attention is All You Need》提出将点积结果除以键向量维度的平方根（√d_k）。这种缩放操作能够有效降低点积结果的方差，使其分布更加均匀，从而确保SoftMax函数能够更合理地
2025-05-13 00:30:00
1475
1
【人工智能项目实践】周末可构建的30个AI项目全解析：从基础数据处理到高级模型微调
2025-05-26
基于langchain/llamaindex的20多种RAG技术实现
2025-04-22
python源代码详解检索增强生成（20+RAG技术复现）
2025-04-14
大型语言模型、预训练模型与嵌入模型的选型指南及应用场景解析
2025-04-01
基于Label Studio的文档标注方法及应用场景
2025-03-25
图数据库基准测试：TigerGraph与其他图数据库的性能对比及优势解析
2025-03-25
RAG学习RL测试数据集
2025-03-25
企业AIGC商业落地应用解析：技术进步引领企业服务创新与优化
2025-03-24
RAG 测试pdf文件，配套《动手实现各类RAG》专栏，不借助任何RAG现成框架，徒手撸python实现各类RAG功能、增强技术等
2025-03-20
招标投文本NER/REL数据集-中标单位与金额解析及其关联信息整理
2025-03-17
面向统一端到端模型的下一代光学字符识别理论与GOT-OCR-2.0模型解析
2025-03-13
基于Label Studio的文本标注工具及其实现自然语言处理任务的操作手册
2025-03-12
使用DeepSeek进行高效学习、工作与旅行规划的经验与技巧详解
2025-03-11
从零构建RAG-基于提示连接检索增强生成与LLM的技术解析及应用场景
2025-03-11
区块链应用与测试：涵盖用户注册页面测试、文档分类及应用部署
2025-03-11
推理模型构建：四种主要方法和技术进展综述
2025-03-10
智能投标领域的星火投标平台-利用大模型技术提高编标效率与标书质量的应用指南
2025-03-10
智慧政策系统的多功能综合应用及其实现方案-聚焦文件解析、知识图谱和智能问答
2025-03-03
DeepSeek高效使用技巧：职场、学术、自媒体的内容生成与问题求解利器
2025-03-01
语音对话大模型及其基准测试的全面综述与最新进展
2025-03-01
自适应确定DBSCAN算法参数的算法研究_李文杰.pdf
2020-04-02
TA创建的收藏夹 TA关注的收藏夹
TA关注的人