- 博客(278)
- 资源 (37)
- 问答 (3)
- 收藏
- 关注
RSS订阅
原创 从零开始用Python构建一个推理LLM(类似 o3 和 DeepSeek-R1)：详细的端到端指南
本文介绍了如何从零开始使用 Python 创建一个 200 万参数的推理型语言模型（LLM），并逐步通过预训练、有监督微调（SFT）和基于人类反馈的强化学习（RLHF）三个阶段赋予其推理能力。作者详细展示了如何训练分词器、构建 Transformer 模型、设计数据集加载器，并通过代码示例和训练循环展示了每个阶段的实现过程。最终，模型能够生成包含“思考”和“回答”标签的推理式回答，尽管在小数据集上表现有限，但在更大数据集上训练时表现出了较好的推理能力。
2025-05-21 02:45:00
801
13
原创 RAG-MCP：通过检索增强生成缓解大型语言模型工具选择中的提示膨胀问题
RAG-MCP框架通过结合检索增强生成（RAG）原则和MCP框架，解决了LLMs在外部工具选择中的提示膨胀和决策复杂性问题。该框架的核心是语义检索模块，它将工具元数据表示为向量空间中的点，并高效匹配用户查询与最相关的工具，从而减少提示大小和复杂性，提高决策准确性。MCP压力测试表明，随着工具数量的增加，传统方法面临提示膨胀和决策开销问题，而RAG-MCP通过动态检索最相关的工具，显著提高了选择准确性和系统可扩展性。实验结果显示，RAG-MCP在选择准确性、提示令牌使用和任务成功率方面优于基线方法。然而，该方
2025-05-19 01:15:00
2148
2
原创 Qwen-3 微调实战：用 Python 和 Unsloth 打造专属 AI 模型
本文详细介绍了如何利用 Python 和 Unsloth 对 Qwen-3 模型进行微调，以打造专属的 AI 模型。文章首先强调了 Qwen-3 在各项基准测试中的出色表现，随后详细阐述了微调所需的 Python 库、计算资源以及数据准备策略。接着，通过具体的代码示例，展示了从模型初始化、添加 LoRA 适配器到数据预处理、模型训练以及推理的全过程。最后，还介绍了如何保存和推送微调后的模型至 Hugging Face Hub，为读者提供了一套完整的实战指南。
2025-05-15 02:00:00
1489
49
原创 测试17种引导AI的提示工程技巧:从零样本到更复杂的ReAct
本文探讨了在1B参数的LLaMA模型上测试17种提示工程技巧的效果，旨在通过优化提示方式提升小型LLM的生成结果。文章首先介绍了提示工程的重要性，强调通过改进提示内容可以引导模型生成更准确、创意或可靠的回答。接着，文章详细描述了如何搭建测试环境，包括加载模型和定义相关函数。随后，文章通过具体示例展示了零样本、少样本和角色提示等技巧的应用。零样本提示适用于简单任务，而少样本提示通过提供示例帮助模型更好地理解复杂任务。角色提示则通过指定模型扮演特定角色来调整回答的风格和内容。这些技巧的测试结果表明，合理使用提示
2025-05-14 20:00:00
1758
25
原创 深入理解深度确定性策略梯度DDPG：基于python从零实现
深度确定性策略梯度（DDPG）是一种离线策略的演员-评论家算法，专门为具有连续动作空间的环境设计。它结合了深度 Q 网络（DQN）中的思想，例如回放缓存和目标网络，并将其应用于演员-评论家框架，适应确定性策略的策略梯度。这使得它成为处理机器人控制和模拟物理环境等任务的强大工具，这些任务中的动作是实数值。演员（Actor）μs;θμ\mu(s;μs;θμ：一个策略网络，它接收状态sss并输出一个特定的确定性动作aμsa = \mu(s)aμs，而不是动作的概率分。
2025-05-08 08:20:57
966
11
原创 构建最优的 RAG 检索增强生成系统：为你的数据集找到最优解
本文介绍了如何为数据集创建最佳的RAG（检索增强生成）管道。通过系统性地测试不同的参数组合（如分块大小、重叠度、检索数量）和策略（简单RAG、查询重写、重排），结合忠实度、相关性和语义相似度等评估指标，找出最适合特定数据集的RAG配置。实验结果表明，简单RAG策略在效率和效果上表现最佳。文章还提出了未来可进一步探索的方向，如测试更多模型、优化提示和混合搜索策略等。
2025-05-05 00:30:00
1226
44
原创 详解如何一步步拿下企业年报问答RAG挑战赛冠军
本文揭秘如何斩获企业级RAG挑战赛双料冠军的完整技术方案。面对100份千页PDF年报的极限解析任务，他创新性地组合了GPU加速解析、多级检索路由和LLM重排序等技术：先用改造后的Docling解析器40分钟完成文本提取，再通过"小块定位+整页返回"的检索策略平衡精度与上下文，最后用结构化提示词工程让GPT-4o-mini在2分钟内完成100道题的高精度作答。文章幽默呈现了与PDF格式的搏斗历程，揭示了表格序列化实验的反转结局，并强调冠军方案的核心在于对业务场景的深度理解
2025-04-15 00:00:00
7512
58
原创 详解如何复现DeepSeek R1:从零开始利用Python构建
本文详细介绍了从零开始构建 DeepSeek R1 的过程，涵盖了从基础模型选择、训练数据准备到多阶段训练的完整流程。首先，通过强化学习（RL）和 GRPO 算法训练出 R1 Zero，解决了基础模型的推理能力问题。接着，通过监督式微调（SFT）和冷启动数据，进一步优化模型的推理风格和语言一致性。最后，通过推理导向的强化学习、拒绝采样以及知识蒸馏等技术，不断提升模型的推理质量和实用性，最终得到高效且推理能力强的 DeepSeek R1 模型。整个过程不仅注重技术实现，还通过详细示例和代码，让读者能够清晰地理
2025-04-11 00:00:00
3711
58
原创 详解如何从零用 Python复现类似 GPT-4o 的多模态模型
在这篇博客中，我们从零开始构建了一个多模态模型，能够处理文本、图像、视频和音频，并根据文本提示生成图像。我们首先实现了 BPE 分词器，将文本分解为子词标记。接着，我们构建了一个基于 Transformer 的语言模型，能够生成文本。然后，我们将模型扩展为多模态，通过 ResNet 提取图像特征，并将这些特征与文本结合，使模型能够回答关于图像的问题。我们还展示了如何通过文本提示生成图像特征向量，并找到最接近的已知图像。整个过程不仅展示了多模态模型的强大能力，还揭示了其在实际应用中的潜力。
2025-04-10 00:00:00
14827
104
原创 如何使用 FastAPI 构建 MCP 服务器
哎呀，各位算法界的小伙伴们！今天咱们要聊聊一个超酷的话题——MCP 协议！你可能已经听说了，Anthropic 推出了这个新玩意儿，目的是让 AI 代理和你的应用程序之间的对话变得更顺畅、更清晰。不过别担心，为你的 Python 应用程序搭建一个这样的服务器并不复杂，甚至可以说简单到让你怀疑人生！想象一下，AI 就像你的私人助理，而 MCP 就是它和你家大门之间的钥匙。让 AI 去操心那些繁琐的逻辑吧，咱就负责躺平享受成果。不管你是想连数据库还是接 API，MCP 都能帮你搞定。
2025-03-31 11:20:36
2588
35
原创 使用Python从零开始构建千万级参数的大型语言模型（LLM）
徒手pytho撸出Transformer架构并一步步训练处一个LLM大模型
2025-03-22 00:15:00
1341
10
原创 图解LLM智能体(LLM Agents)：构建与运作机制的全面解析
本文深入探讨了大型语言模型（LLM）智能体的构建与运作机制，涵盖其核心组件和多智能体框架。LLM智能体通过外部工具、记忆系统和规划能力弥补了传统LLM的不足，能够执行复杂任务并展示自主行为。文章详细介绍了记忆模块（短期与长期记忆）、工具使用（如Toolformer和MCP协议）以及规划与推理技术（如ReAct和Reflexion）。此外，多智能体系统的协作框架被提出，用于解决单一智能体在工具选择、上下文复杂性和任务专业化上的局限性。生成式智能体（Generative Agents）模拟人类行为的研究展示了多
2025-03-18 13:35:10
2102
5
原创 徒手打造个人AI Agent:基于DeepSeek-R1+websearch从零构建类Manus深度探索智能体AI-Research
该系统能够在预定义的主题上进行深入研究。研究计划：这意味着创建一个研究报告大纲，这将成为系统的最终输出。将上述内容拆分为可管理的步骤。对报告的各个部分进行深入研究。针对推理所需的数据，进行全面的分析，并利用网络搜索工具支持分析。反思研究过程中不同步骤生成的数据，并改进结果。总结检索到的数据，并生成最终的研究报告。今天，我们将实现上述所有步骤，而不使用任何LLM编排框架。首先，我们需要定义整个系统的状态，该状态将在代理运行过程中不断演变，并被系统的不同部分选择性地使用。
2025-03-16 00:15:00
1929
17
原创 【开源+代码解读】Search-R1：基于强化学习的检索增强大语言模型框架3小时即可打造个人AI-search
强化学习驱动检索：首次将RL应用于LLM与搜索引擎的多轮交互，突破传统监督学习限制。轻量化奖励设计：仅用结果奖励即可引导模型学习复杂检索策略。结构化生成框架：通过标记控制生成流程，兼容不同RL算法。
2025-03-13 13:57:02
3065
17
原创 从理解强化学习及其在 LLM 中的作用开始手把手教你构建DeepSeek-R1推理模型
本文深入探讨了强化学习（RL）在大型语言模型（LLM）训练中的应用，特别是通过人类反馈强化学习（RLHF）技术对齐人类偏好。文章重点介绍了组相对策略优化（GRPO）这一创新算法，其通过生成多个响应组、组内归一化优势计算和KL散度约束，显著提升了训练效率和稳定性。此外，本文详细解析了DeepSeek R1模型的四阶段训练流程，展示了其在数学和编程任务中的卓越表现。最后，文章还介绍了如何在TRL库中实现GRPO，并提供了配置参数、奖励函数设计和训练监控指标等实用建议
2025-03-05 01:15:00
1934
11
原创 MCTS-RAG：通过树搜索重塑小模型中的检索增强生成（RAG）
MCTS-RAG框架的核心思想是在推理过程中动态结合检索操作，探索多个推理路径，并在关键决策点评估中间状态。具体来说，框架在每个MCTS决策点设计了六种离散动作，包括直接回答、快速推理、分解问题、检索推理、检索分解和总结回答。这些动作帮助模型在推理过程中灵活地结合外部知识，从而提高准确性
2025-05-22 00:45:00
460
3
原创 理解大型语言模型中的 KV 缓存
大型语言模型（LLMs）在生成文本时，通常是一个词元（token）一个词元地生成，每次生成一个词元后，将其作为输入来预测下一个词元。然而，这种逐词生成的方式会导致模型在每一步中重复计算大量相同的工作，从而降低效率。为了解决这个问题，引入了 KV 缓存 技术。KV 缓存通过存储每个步骤中计算出的键（Key）和值（Value）向量，避免重复计算，从而显著提高模型的推理速度。尽管 KV 缓存会占用额外的 GPU 内存，但它在现代大型语言模型中被广泛应用，以优化生成效率。实验表明，使用 KV 缓存可以将生成速度提升
2025-05-22 00:15:00
944
原创 理解分层演员-评论家HAC算法：python从零实现
本文详细介绍了分层演员-评论家（HAC）算法，这是一种用于解决复杂、长期任务的分层强化学习方法。HAC 通过多级策略实现任务分解，高层设定子目标，低层执行动作以达成目标。其关键机制包括目标条件学习、内在奖励、事后目标转换以及离线学习。HAC 在网格世界环境中展示了其有效性，尽管学习过程复杂，但通过分层结构显著提高了样本效率和任务解决能力。该算法在机器人技术、导航和游戏玩法等领域具有广泛的应用前景。
2025-05-21 00:15:00
655
原创 特定领域 RAG中细调嵌入模型能否提升效果？
本文探讨了在特定领域 RAG（Retrieval-Augmented Generation）流水线中微调嵌入模型的作用，尤其是在检索和生成阶段的影响。通过结合微调嵌入模型和预训练嵌入模型，系统能够更有效地捕获和存储特定领域的上下文信息，从而提高语言模型生成响应的准确性和上下文理解能力。用户查询通过这两个模型处理，提取有意义的表示并检索最相关的上下文信息，随后传递给大型语言模型（LLM）生成响应并评估其质量。评估指标包括“答案相关性得分”和“上下文相关性得分”，这些分数通过仪表板可视化，帮助持续优化系统性能。
2025-05-20 14:02:40
502
原创 深入理解蒙特卡洛树搜索（MCTS）：python从零实现
蒙特卡洛树搜索（MCTS）是一种基于模拟的规划算法，广泛应用于强化学习领域。与无模型强化学习不同，MCTS 依赖于环境模型进行未来轨迹的模拟，从而做出决策。其核心思想是通过引导式模拟逐步构建搜索树，利用统计信息（如访问次数和平均奖励）来平衡探索与利用。MCTS 的优势在于其随时可用性、非对称树增长、无需启发式评估函数以及可并行化特性。它特别适用于状态空间大、分支因子多且环境模型可用的场景，如游戏和规划问题。MCTS 的迭代过程包括选择、扩展、模拟和反向传播四个步骤，通过 UCT 策略选择动作，最终选择访问次
2025-05-20 00:15:00
741
原创 LLM 增强型搜索：下一代智能检索技术的崛起
本文深入探讨了 LLM 增强型搜索技术，这种结合了大型语言模型（LLM）、检索增强生成（RAG）和智能代理技术的新一代搜索引擎，能够提供更智能、更人性化的搜索体验。与传统搜索引擎相比，LLM 增强型搜索不仅能够理解语义上下文，还能通过多轮对话、个性化推荐以及多模态和跨语言检索等方式，直接为用户提供简洁准确的答案，而不仅仅是网页链接。文章详细介绍了其核心技术架构、工作流程和实现方法，并分析了当前技术的局限性，如在处理位置相关查询时的不足、RAG 功能的不完善以及缺乏有效的评估基准等。同时，文章也展望了未来的发
2025-05-19 05:00:00
1047
7
原创 知识图谱赋能大数据实战指南：从理论到实践的深度解析
本文详细介绍了如何利用知识图谱处理大数据，从数据获取、预处理到实体与关系的提取，再到知识图谱的构建与存储。通过使用Python及其相关库，结合LLM（大型语言模型）的强大能力，我们能够从海量新闻文章中提取有价值的实体和关系，并将其转化为结构化的知识图谱。此外，文章还探讨了知识图谱的可视化、查询分析以及如何通过嵌入技术进行链接预测，为后续的深入研究和应用提供了坚实基础。
2025-05-18 21:00:00
502
原创 用NLP搭建知识图谱：低成本打造RAG和GraphRAG的超酷秘籍
### 摘要本文介绍了一种利用自然语言处理（NLP）技术构建知识图谱的方法，用于实现混合RAG（检索增强型生成）和GraphRAG（图增强型检索）应用。作者提出了一种分层图架构，通过提取文本中的令牌、双词组和三词组，并利用小型本地LLM生成的三元组关系来增强图的语义连接。这种方法避免了对大型云模型的依赖，大大降低了成本，同时提高了检索的准确性和灵活性。实验结果表明，这种混合方法能够提供更全面和深入的答案，为大规模GenAI项目提供了新的解决方案。
2025-05-18 00:15:00
17
原创 三层固定实体架构：高效实现图上的检索增强生成（RAG）
本文介绍了一种用于构建知识图谱的三层架构，结合了固定本体实体、文档片段和提取的命名实体。该架构通过嵌入和余弦相似度提高检索效率，并允许在查询期间更精确地遍历图。第一层（FEL1）代表通过领域专家构建的本体“骨架”，第二层（DL2）由分块文档组成，第三层（SEL3）包括从文档中提取的命名实体。通过计算FEL1和DL2之间的余弦相似度建立连接，SEL3进一步增强了图遍历和检索精度。这种方法提供了一种可扩展且成本效益高的替代大型语言模型（LLM）的方案，符合当前检索增强生成（RAG）系统的发展趋势。
2025-05-17 20:30:00
284
原创 机器学习与人工智能：NLP分词与文本相似度分析
本文介绍了自然语言处理（NLP）中的基础技术，包括分词、文本预处理、词袋模型和余弦相似度。作者通过构建一个简单的Python NLP对象，展示了如何将文本数据转换为计算机可理解的格式，并计算文本之间的相似度。文章详细解释了分词、停用词去除、n-grams生成等预处理步骤，并介绍了词袋模型的基本概念。最后，作者通过余弦相似度公式，展示了如何衡量文本之间的相似性。本文旨在为读者提供NLP的基础知识，并鼓励读者通过DIY方式深入理解这些技术。
2025-05-17 00:15:00
1099
2
原创 基于固定实体架构的图知识库：为检索增强型生成（RAG）注入新动力
本文探讨了在检索增强型生成（RAG）系统中使用固定实体架构（Fixed Entity Architecture，FEA）构建知识图谱的方法。与微软的GraphRAG方法相比，FEA依赖预定义的实体和关系，形成领域本体的“鱼骨”结构，通过简单的数学技术而非大型语言模型（LLM）来构建图，降低了复杂性和计算成本，提高了精度和控制性。文章通过爱因斯坦的名言案例，展示了如何构建知识图谱、添加文档并进行检索。通过向量索引和混合搜索技术，实现了高效的文档检索和知识提取，为RAG应用提供了强大的支持。未来，进一步优化实体
2025-05-16 00:30:00
821
7
原创 深度理解用于多智能体强化学习的单调价值函数分解QMIX算法：基于python从零实现
QMIX 是一种用于合作式多智能体强化学习（MARL）的算法，旨在解决多个智能体在共享奖励环境中的功劳分配问题。其核心思想是通过价值函数分解，将团队的联合行动价值函数 $Q_{tot}$ 分解为各个智能体的效用函数 $Q_i$，并通过单调混合网络将它们组合起来。QMIX 采用集中式训练、分散式执行的范式，确保智能体在训练后能够独立行动。其优势包括有效处理功劳分配、可扩展性强、支持分散式执行以及能够捕捉智能体效用之间的复杂关系。QMIX 广泛应用于星际争霸多智能体挑战、协调游戏和多机器人协作等任务。
2025-05-16 00:15:00
810
1
原创 深度剖析LLM的“大脑”：单层Transformer的思考模式探索
本文深入探索了大型语言模型（LLM）的内部思考机制。通过训练一个单层Transformer模型，并结合稀疏自编码器技术，研究者们试图解读LLM的神经元激活模式。实验发现，经过稀疏处理后，部分神经元能够高度专注于特定概念，如特定语言的后缀、十六进制代码、情态动词等。这表明LLM在某种程度上能够像人类一样对不同概念进行区分和识别。尽管目前的研究仅基于小型模型，但它为理解LLM的“思考”方式迈出了重要一步，未来有望进一步揭示AI组织知识的奥秘。
2025-05-15 00:00:00
1575
原创 用PyTorch在超大规模下训练深度学习模型：并行策略全解析
本文深入探讨了使用 PyTorch 在超大规模下训练深度学习模型时的各种并行策略。从数据并行、张量并行到上下文并行、流水线并行、专家并行，再到 ZeRO 零冗余优化器，文章详细解析了每种技术的原理、实现方法、优点与注意事项，并结合 PyTorch 提供了丰富的代码示例。这些并行策略的组合运用，能够有效应对大规模模型训练中的内存和计算挑战，帮助研究人员突破传统硬件限制，实现更高效、更快速的模型迭代与部署，推动深度学习技术在大规模应用场景中的发展。
2025-05-14 09:52:21
1067
4
原创 量化感知训练与 PyTorch 的哪些事
量化感知训练（Quantization-Aware Training, QAT）是一种在模型训练过程中模拟量化效果的技术，旨在提高模型在低精度环境下的准确性。QAT通过在训练过程中引入“假量化”操作，使模型能够适应量化带来的噪声，从而在最终量化时保持较高的性能。与训练后量化（PTQ）相比，QAT需要更多的计算资源和时间，但通常能获得更好的准确性。QAT的工作流程包括准备阶段、训练阶段和转换阶段，其中训练阶段通过直通估计器（STE）处理梯度，使模型能够补偿量化噪声。PyTorch提供了多种量化模式
2025-05-13 18:54:55
1319
1
原创 Transformer自注意力机制中的缩放原理—— 读了绝对不后悔！
在自注意力机制中，缩放点积注意力的核心目的是控制注意力分数的方差，以确保SoftMax函数的稳定性。当计算查询（Q）和键（K）矩阵的点积时，随着向量维度的增加，点积结果的方差也会显著增大。这会导致SoftMax函数在处理高方差数据时，倾向于将大部分概率分配给极少数值，从而影响模型的性能。 为了解决这个问题，论文《Attention is All You Need》提出将点积结果除以键向量维度的平方根（√d_k）。这种缩放操作能够有效降低点积结果的方差，使其分布更加均匀，从而确保SoftMax函数能够更合理地
2025-05-13 00:30:00
1469
1
原创 理解多智能体深度确定性策略梯度MADDPG算法:基于python从零实现
多智能体强化学习（MARL）扩展了传统强化学习，适用于多个智能体在共享环境中交互的场景，这些智能体可能合作、竞争或目标混杂。MARL引入了单智能体设置中不存在的独特挑战，尤其是非平稳性问题，即智能体策略的不断变化导致环境对单个智能体显得不稳定。为解决这一问题，MADDPG（多智能体深度确定性策略梯度）算法应运而生，它采用集中式训练与分散式执行的范式，通过集中式评论家来缓解非平稳性，同时允许智能体在仅具备局部观察的情况下进行分散式执行。MADDPG的优势在于其能够应对复杂环境动态，适用于合作、竞争或混合设置，
2025-05-12 23:19:37
1370
7
原创 微调重排序模型：Reranking从入门到实践
本文是一篇关于微调重排序模型的初学者指南，详细介绍了如何通过微调提升检索系统的精度。文章首先解释了交叉编码器的工作原理及其在语义相似性、问答和信息检索中的应用，随后深入探讨了重排序在检索增强型生成（RAG）中的重要性，指出其能够优化检索结果的相关性。作者详细描述了如何准备数据，包括创建问答数据集和生成合成数据，并提供了完整的代码示例，涵盖模型微调、评估和部署的全过程。通过本文，读者可以快速掌握微调重排序模型的实用技巧，提升系统对检索文档的理解和排序能力。
2025-05-12 00:00:00
1496
22
原创 深入理解深度Q网络DQN：基于python从零实现
本文深入解析了深度Q网络（DQN）算法，它将Q学习与深度神经网络结合，解决了高维状态空间问题。DQN通过经验回放和目标网络等创新技术，稳定了学习过程。文章详细介绍了DQN的数学基础、关键组件及实现步骤，并通过自定义网格世界环境展示了其训练过程和学习效果。DQN为强化学习领域带来了突破，为后续更复杂的算法奠定了基础，是理解现代强化学习技术的关键。
2025-05-11 23:00:00
1307
3
原创 利用“Flower”实现联邦机器学习的实战指南
本文深入探讨了联邦机器学习（Federated Machine Learning）的概念及其应用，通过使用 Flower 框架，作者详细介绍了如何在不共享数据的情况下，利用多个医疗机构的数据安全地训练一个可以检测眼部疾病的机器学习模型。文章从数据集的准备、模型的训练与评估，到联邦学习的具体实现步骤，进行了全面的讲解，并展示了联邦学习在处理数据隐私和模型性能方面的优势。
2025-05-11 15:12:06
1252
原创 微调ModernBERT为大型语言模型打造高效“过滤器”
本文探讨了如何通过微调 ModernBERT 模型，为大型语言模型（LLM）打造高效且成本效益高的“安保”系统，以筛选用户查询。物流聊天机器人在上线后遭遇用户提出大量离题查询的问题，导致资源浪费和运营成本增加。文章分析了几种常见解决方案的局限性，如仅依靠系统提示过滤或使用专用 LLM 守门人模型，这些方法存在指令冲突、误报、校准困难和资源密集等问题。通过创建高质量训练数据集、多模型验证、人工细化标签以及高效微调 ModernBERT 模型，成功开发出一个精准高效的查询过滤系统，提升了性能并降低了成本
2025-05-10 23:00:00
2515
5
原创 微调领域嵌入模型Embedding：打造专属的自然语言处理利器
本文详细介绍了如何为特定领域（如医学、法律或金融）微调嵌入模型，以提升自然语言处理任务的性能。文章首先解释了嵌入模型的基本概念及其在语义相似性、文本分类和问答等任务中的重要性。接着，详细阐述了微调嵌入模型的全流程，包括数据集的创建、损失函数的选择、模型训练与评估。通过使用套娃表示学习（MRL）技术和强大的`bge-base-en`模型，文章展示了如何通过微调显著提升模型对特定领域语言和概念的理解能力。最终，通过实验验证了微调后模型在检索和生成任务中的性能提升，为构建高质量的领域专用自然语言处理应用提供了实用
2025-05-10 00:00:00
797
7
原创 信赖域策略优化TRPO算法详解：python从零实现
本文详细介绍了TRPO的数学原理、实现细节，并通过自定义网格世界的实验展示了其学习效果和稳定性。TRPO通过限制策略更新的幅度（使用KL散度作为约束）来确保策略性能的单调改进。它结合了共轭梯度法和线搜索技术，以高效地找到满足约束条件的策略更新方向。TRPO在连续控制任务和机器人模拟中表现出色，但由于其实现复杂，后来促成了更简单的PPO算法的发展。尽管如此，TRPO仍然是理解策略优化和现代强化学习算法的重要基础。
2025-05-09 16:04:26
1017
4
原创 从零开始理解FlashAttention：算法细节图解
介绍了 FlashAttention 技术，它通过优化 GPU 内存层次结构和融合内核，实现了快速且节省内存的精确注意力计算。文章分为两部分：第一部分介绍了注意力机制的基础知识以及 GPU 优化方法；第二部分深入讲解了 FlashAttention 的核心算法，包括如何分解 SoftMax 操作以支持分块计算，以及如何在前向和反向传播中高效处理中间结果。FlashAttention 实现了 7.6 倍的速度提升和 O(N) 的内存复杂度，同时保持了精确的注意力分数，极大地推动了大规模模型训练的效率和可行性
2025-05-09 12:16:23
776
2
原创 Off-Policy策略演员评论家算法SAC详解：python从零实现
软演员评论家（SAC）是一种最先进的Off-Policy策略演员评论家算法，专为连续动作空间设计。它在 DDPG、TD3 的基础上进行了显著改进，并引入了最大熵强化学习的原则。其目标是学习一种策略，不仅最大化预期累积奖励，还要最大化策略的熵。这种添加鼓励了探索，提高了对噪声的鲁棒性，通常与之前的 DDPG 和 TD3 方法相比，能够实现更快、更稳定的学习。SAC 学习三个主要组件（通常使用五个网络实现）：与 DDPG 类似，它采用：标准强化学习旨在最大化预期折扣奖励总和：E[∑tγtR(st,at)]\ma
2025-05-08 17:00:00
1387
4
基于langchain/llamaindex的20多种RAG技术实现
2025-04-22
python源代码详解检索增强生成（20+RAG技术复现）
2025-04-14
大型语言模型、预训练模型与嵌入模型的选型指南及应用场景解析
2025-04-01
基于Label Studio的文档标注方法及应用场景
2025-03-25
图数据库基准测试：TigerGraph与其他图数据库的性能对比及优势解析
2025-03-25
RAG学习RL测试数据集
2025-03-25
企业AIGC商业落地应用解析：技术进步引领企业服务创新与优化
2025-03-24
RAG 测试pdf文件，配套《动手实现各类RAG》专栏，不借助任何RAG现成框架，徒手撸python实现各类RAG功能、增强技术等
2025-03-20
招标投文本NER/REL数据集-中标单位与金额解析及其关联信息整理
2025-03-17
面向统一端到端模型的下一代光学字符识别理论与GOT-OCR-2.0模型解析
2025-03-13
基于Label Studio的文本标注工具及其实现自然语言处理任务的操作手册
2025-03-12
使用DeepSeek进行高效学习、工作与旅行规划的经验与技巧详解
2025-03-11
从零构建RAG-基于提示连接检索增强生成与LLM的技术解析及应用场景
2025-03-11
区块链应用与测试：涵盖用户注册页面测试、文档分类及应用部署
2025-03-11
推理模型构建：四种主要方法和技术进展综述
2025-03-10
智能投标领域的星火投标平台-利用大模型技术提高编标效率与标书质量的应用指南
2025-03-10
智慧政策系统的多功能综合应用及其实现方案-聚焦文件解析、知识图谱和智能问答
2025-03-03
DeepSeek高效使用技巧：职场、学术、自媒体的内容生成与问题求解利器
2025-03-01
语音对话大模型及其基准测试的全面综述与最新进展
2025-03-01
自适应确定DBSCAN算法参数的算法研究_李文杰.pdf
2020-04-02
TA创建的收藏夹 TA关注的收藏夹
TA关注的人