- 博客(587)
- 资源 (28)
- 收藏
- 关注
RSS订阅
原创 从零实现深度学习框架【实现自己的PyTorch(已完结)】
本着“凡我不能创造的，我就不能理解”的思想，此系列文章会基于纯Python以及NumPy从零创建自己的深度学习框架，该框架类似PyTorch能实现自动求导。
2021-12-19 15:38:18
6443
原创 从零构建大模型智能体：OpenAI Function Calling智能体实战
当大模型开始自己决定搜索、计算、调用工具，Agent 就不再是提示词工程。本文手把手实现一个 支持多跳推理与 Function Calling 的 Agent，完整拆解消息协议、工具执行与循环控制。想真正“把 Agent 跑起来”，别错过。
2025-12-13 21:38:44
436
原创 从零构建大模型智能体：OpenAI Function Calling 实战全流程详解
本文通过完整实战示例深入讲解 OpenAI Function Calling，展示大模型如何自动选择并调用工具，打通 AI 与真实业务系统的数据与能力，实现更智能的应用构建。
2025-12-13 10:31:15
396
2
原创 从零构建大模型智能体：构建可调用工具的智能体
本文介绍了通用极简智能体 `SimpleAgent`，结合语言理解与外部工具调用（如搜索、计算），可自动判断何时使用工具并整合结果。文章提供完整示例，展示从输入到工具调用再生成答案的完整流程，帮助快速掌握可扩展智能体构建方法。
2025-12-07 11:30:11
1047
原创 从零构建大模型智能体：实现可扩展工具系统
想让你的大模型真正“动起来”吗？本章手把手教你用最简单的方式，让 LLM 主动调用你的 Python 函数，为智能体加上真正的行动力。
2025-12-01 23:18:25
729
原创 从零构建大模型智能体：理解 Agent 的本质
从零构建大模型智能体，手把手解析推理链、工具调用、记忆与规划，实现可控、高效、可解释的全栈智能体系统。
2025-11-29 13:19:48
809
原创 从零构建大模型智能体：开篇
从零构建大模型智能体，覆盖推理链、工具调用、知识检索与多智能体协作，结合理论与可运行代码，助你掌握可控、高效、可解释的智能体全栈实现。
2025-11-29 11:53:01
670
原创 从零实现LLaMA2
摘要 本文详细介绍了如何从零实现LLaMA2模型，重点解析了其核心改进模块。LLaMA2相比LLaMA1主要引入了分组查询注意力机制，同时采用RMSNorm替代LayerNorm、使用SwiGLU激活函数以及旋转位置编码等技术。文章依次实现这些模块： RMSNorm模块通过计算均方根进行高效归一化 旋转位置编码采用特殊矩阵变换增强位置信息 分组查询注意力机制提升计算效率 文中结合数学公式和代码示例，深入浅出地讲解了每个模块的实现原理，为理解LLaMA2架构提供了详细的技术参考。
2025-07-02 20:57:01
814
原创 强化学习贝尔曼方程推导
强化学习中贝尔曼方程的重要性就不说了，本文利用高中生都能看懂的数学知识推导贝尔曼方程。折扣回报GtG_tGt的定义为：Gt=Rt+1+γRt+2+γ2Rt+3+⋯=∑k=0∞γkRt+k+1(1)G_t = R_{t+1} +\gamma R_{t+2} + \gamma^2 R_{t+3} + \cdots = \sum_{k=0}^\infty \gamma^k R_{t+k+1} \tag 1Gt=Rt+1+γRt+2+γ2Rt+3+⋯=k=0∑∞γkRt+k+1(1)注意GtG
2025-04-29 20:45:23
713
原创 [论文笔记]Conan-embedding: General Text Embedding with More and Better Negative Samples
⭐ 作者提出了Conan-Embedding模型，提出在训练过程中动态挖掘更好的难负样本的方法，取得了SOTA结果。
2025-01-03 21:50:41
1443
1
原创 [论文粗读]A Simple Framework for Contrastive Learning of Visual Representations
⭐ 作者提出了一种对比学习框架，虽然论文是基于视觉探讨的，但后续也影响了很多NLP方面的工作。在更深更宽的模型和更大的批次、更长的训练时间基础上，首先通过多种数据增强产生有效的正样本用于对比学习。其次在表示和对比损失之间引入可学习的非线性头。最后利用归一化温度缩放交叉熵损失进行对比学习。在训练结束后，该引入的非线性头会被丢弃。
2025-01-01 21:45:00
1189
原创 [论文笔记]Representation Learning with Contrastive Predictive Coding
⭐ InfoNCE中的Info指的是互信息，目标是在学习过程中最大化互信息。InfoNCE在给定一个正样本和一组互样本的情况下，最大化正样本和一组负样本得分之间的对比，让模型能更好的学习数据的表示。
2025-01-01 13:48:14
1373
1
原创 [论文笔记]An LLM Compiler for Parallel Function Calling
⭐ 这是一篇很厉害的工作，作者受计算机中编译器的启发，设计了LLMCompiler这一框架。首先利用函数调用规划器指定函数调用的执行计划；然后通过任务获取单元来调度函数调用任务，找出其中的依赖和独立任务；最后通过执行器(并行)执行这些任务。
2024-11-15 22:27:50
2101
原创 [论文粗读][REALM: Retrieval-Augmented Language Model Pre-Training
⭐ 为了以更可解释和模块化的方式捕捉知识，作者提出了REALM预训练框架，通过学习文本知识检索器来增强语言模型预训练算法。
2024-11-06 08:22:13
1402
原创 [论文粗读]HippoRAG: Neurobiologically Inspired Long-Term Memory for Large Language Models
⭐ 作者提出了HippoRAG，首先使用大语言模型将语料库转换为无模式知识图(KG)来模拟新皮层处理感知输入的能力，作为人工海马体索引。给定一个新的查询，HippoRAG识别查询中的关键概念，并在KG上运行个性化PageRank(PPR)算法，使用查询概念作为种子，以整合跨段落的检索信息。
2024-10-28 08:38:21
614
原创 [论文粗读]STRUCTRAG: BOOSTING KNOWLEDGE INTENSIVE REASONING OF LLMS VIA INFERENCE-TIME HYBRID INFORMATIO
⭐ 现有的RAG方法在知识密集型推理任务中存在困难，因为这些任务所需的有效信息严重分散。本篇工作受认知理论的启发，该理论认为人类在处理知识密集型推理时会将原始信息转换为各种结构化知识，提出了StructRAG框架，它可以识别当前任务的最佳结构类型，将原始文档重建为这种结构化格式，并根据生成的结构推断答案。
2024-10-24 08:23:32
1387
原创 [论文笔记]ColPali: Efficient Document Retrieval with Vision Language Models
⭐ 作者介绍了一种新的多模态检索框架ColPali，可以生成文本和图像的ColBERT类多向量表示，也引入后期交互计算每个查询标记和文档标记之间的交互，最终得到一个分数可用于检索排名。
2024-10-23 08:35:36
1809
2
原创 [论文笔记]HERMES 3 TECHNICAL REPORT
⭐ 本篇工作提出了如何良好地训练base模型提供指令遵循和函数调用能力，其提出的函数调用格式启发了vLLM和Ollama等支持工具调用。
2024-10-19 14:24:52
1592
1
原创 [论文笔记]RA-DIT: RETRIEVAL-AUGMENTED DUAL INSTRUCTION TUNING
⭐ 作者提出了一种检索增强微调的方法，为语言模型和检索器进行微调。引导LLM最佳地利用检索到的信息并忽略干扰内容。
2024-10-18 08:42:17
1495
1
原创 [论文笔记]Improving the Domain Adaptation of Retrieval Augmented Generation (RAG) Models for Open Domain
⭐ 作者提出对检索器和生成器进行联合训练来完成QA任务和领域自适应，通过微调RAG模型及其检索器，同时在训练期间异步更新知识编码。
2024-10-17 08:52:40
1372
1
原创 [论文笔记]Active Retrieval Augmented Generation](Active Retrieval Augmented Generation
⭐ 在RAG长文本的生成过程中，作者提出主动检索增强生成的方法，首先开始回复问题，如果LLM对于生成的句子不太确信，则使用它作为查询检索相关文档，然后根据检索到的文档重新生成下一句话，直到生成结束。
2024-10-12 22:24:46
1436
1
原创 [论文笔记]ColBERT: Eficient and Effective Passage Search via Contextualized Late Interaction over BERT
⭐ ColBERT引入了一种晚期交互(late interaction)架构，该架构使用BERT独立编码查询和文档，然后采用一种廉价但强大的交互步骤来建模它们的细粒度相似性。通过推迟这种细粒度的交互，ColBERT能够利用深度语言模型的表达能力，同时获得离线预计算文档表示的能力，从而显著加快查询处理速度。
2024-10-11 08:34:35
1684
1
原创 [论文笔记]DAPR: A Benchmark on Document-Aware Passage Retrieval
⭐ 作者提出了可以直接将长文本的全局文本信息拼接到切分后的文本块前面。全局文本信息有(1) 文档的标题 (2) 文档的关键短语，使用TopicRank算法抽取 (3) 共指解析，通过跨段共指解析消解来处理文本块中的代词。
2024-10-10 08:49:16
1279
1
原创 [论文笔记]SGPT: GPT Sentence Embeddings for Semantic Search
⭐ 作者提出了利用仅编码器的类GPT架构来产生句子嵌入以支持语义检索和其他嵌入任务。在Bi-Encoder设置中，使用位置加权平均池化来得到具有语义信息的句子嵌入。在Cross-Encoder设置中，提取预训练GPT模型的对数概率产生无监督结果。
2024-10-03 21:37:19
1948
6
原创 如何处理模型API速率限制
当我们访问大模型相关的API服务时，通常会遇到速率限制(即限流)，它用于防止用户向某个API发送大量请求，防止请求过载，确保每个人都能公平地访问API。
2024-09-16 18:33:56
8412
原创 [论文笔记]MEMORAG: MOVING TOWARDS NEXT-GEN RAG VIA MEMORY-INSPIRED KNOWLEDGE DISCOVERY
⭐ 作者提出了MemoRAG，一种通过长期记忆增强的检索增强生成新范式。它使用轻量且长上下文的LLM构建全局记忆，用于生成上下午相关的线索。用另一个表达力强的LLM，根据检索到的信息生成最终答案。
2024-09-12 20:36:01
3226
1
原创 [论文笔记]ChatQA: Surpassing GPT-4 on Conversational QA and RAG
⭐ 作者介绍了 ChatQA，一种两阶段指令微调方法，提高了 RAG 的表现。还引入了一种针对多轮对话 QA 优化的密集检索器。
2024-09-11 21:00:00
2590
6
原创 [论文笔记]RankRAG: Unifying Context Ranking with Retrieval-Augmented Generation in LLMs
⭐ 作者提出了一种新的两阶段指令微调框架RankRAG，该框架对LLM进行指令微调，以实现RAG中上下文排名和答案生成的双重目的。阶段一利用SFT对高质量指令跟随数据集进行微调，阶段二对LLM进行检索增强生成和上下文排名的指令微调。
2024-09-10 18:33:32
2121
1
原创 [论文笔记]QLoRA: Efficient Finetuning of Quantized LLMs
⭐ 作者提出了QLoRA，一种高效的微调方法，它在减少内存使用的同时保持16位微调任务的完整性能。这是通过：4位NormalFloat、双重量化(对量化常数进行量化)、分页优化器(GPU内存不足的情况下，自动进行CPU和GPU之间的页面传输)来管理内存峰值实现的。微调时冻结**4位量化预训练语言模型**而向低秩适配器(LoRA)反向传播梯度。
2024-09-07 22:44:46
3321
3
原创 [论文笔记]LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale
⭐ 作者开发了一个两部分量化程序LLM.int8()。首先使用向量级量化，对矩阵乘法中的每个内积使用单独的归一化常数，从而对大多数特征进行量化。然而，对于突现的异常值(outlier)，还包括了一种新的混合精度分解方案，将异常特征维度隔离到16位矩阵乘法中，同时仍然有99.9%以上的值在8位中进行乘法运算。
2024-09-07 17:48:37
2948
1
原创 [论文笔记]Making Large Language Models A Better Foundation For Dense Retrieval
⭐ 本工作提出了LLaRA，该方法作为对 LLM 进行后处理适应以用于密集检索应用。LLaRA 包含两个前置任务： LLM 的文本嵌入分别用于重构输入句子的词元和预测下一个句子的词元。通过这种方式旨在捕捉输入文本本身和下一句的全局语义，从而使LLM变成一个有效的密集检索器。
2024-09-06 08:16:53
2161
2
英文-中文机器翻译数据集
2022-07-21
Dubbo与Zookeeper、SpringMVC整合和使用
2017-05-13
词性标注traindata.rar
2020-08-29
bert_sentence_classification.7z
2021-09-25
安卓实现选择联系人
2014-09-08
RocketMQ实战与原理解析【清晰版】
2018-11-03
Java网络编程第4版英文版
2018-07-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人