- 博客(288)
- 收藏
- 关注
RSS订阅原创 【智能体】AI Agent 记忆系统：从短期到长期的技术架构与实践指南
对 AI Agent 而言，记忆是其实现历史交互回溯、反馈学习与用户偏好适配的核心能力，主要分为两个层面：会话级记忆（短期记忆）：特指用户与 AI Agent 在单次会话中的多轮交互数据，包括用户查询、Agent 响应、工具调用及执行结果等，直接服务于当前会话的实时交互。跨会话记忆（长期记忆）：从多次会话中抽取提炼的通用信息，涵盖用户偏好、核心事实、领域经验等，能够跨会话辅助 Agent 进行个性化推理。
2026-01-04 17:50:01
756
原创 【AI】2025年中国企业级AI应用行业研究报告-艾瑞咨询
政策、技术、需求三重驱动下，企业级AI应用进入商业价值验证期。现阶段重点聚焦流程增效、知识增幅和价值创新三方面。
2026-01-04 14:40:21
275
原创 【RAG】继先分块再向量化的另一种分片方式-先 Embedding 再 Chunking
在 RAG（检索增强生成）应用开发中，文档分块（Chunking）是决定检索质量的关键第一步。长期以来，行业普遍遵循 “先分块再向量化（Embedding）” 的传统流程，但这种模式始终难以平衡检索精度与上下文完整性。如今，“先 Embedding 再 Chunking” 的新思路正在崛起，以 Jina AI 的 Late Chunking 和 Max–Min semantic chunking 为代表的策略，正重新定义 RAG 分块的最优实践。
2025-12-23 16:23:17
922
转载 【RAG】语义滑动窗口-大模型场景下解决输入上下文过长的方案
逻辑可以参考下面的实现逻辑。受限于篇幅，更详细的可见论文中的详细实现路径。实现逻辑文本内容分割：将文本内容按照文章段落进行最小颗粒度的分割，生成一个段落或句子的列表，称为 segment_list。向量化转换：对 segment_list 中的每个段落或句子进行向量化转换，将其转换为向量表示，形成一个大小相等的向量列表 vector_list。设立相关度阈值：设立一个相关度阈值，用于判断两个向量之间的相似度是否达到匹配的标准。动态滑动窗口匹配：
2025-12-23 15:51:31
21
原创 【RAG】解决全文总结问题-基于LangChain三大文档处理策略
当使用大语言模型（如 GPT-3、GPT-4）时，模型的上下文窗口（Token 限制）往往成为瓶颈。LangChain 作为一个强大的语言模型编排框架，提供了三种核心策略——MapReduce、Refine 和 Stuff，以解决这一难题。本文将深入探讨这三种方法的工作原理、适用场景、技术实现以及如何根据实际需求做出最佳选择。
2025-12-23 14:33:44
759
原创 【智能体】智能体开发方法论：构建、测试、部署、观察、优化，再重复
智能体工程是将非确定性的大语言模型（LLM）系统逐步优化为可靠生产级应用的迭代过程。构建、测试、部署、观察、优化，再重复。核心要点在于，部署并非最终目标。它只是一种手段，帮助你获取新的洞见并改进智能体。要实现有意义的优化，你需要了解生产环境中的实际运行情况。这个循环迭代的速度越快，智能体的可靠性就会越高。我们认为，智能体工程是一门融合了三类技能的新兴学科，三者协同作用：1.1 产品思维定义智能体的应用范围并塑造其行为。
2025-12-23 09:08:56
518
原创 由ChatGPT 的记忆系统谈及如何构建一个对话应用智能体
这是最让我意外的部分，我本以为 ChatGPT 会对过往对话使用某种 RAG 技术，实则采用了轻量摘要的方式。1. <时间戳>：<聊天标题>|||| 用户消息片段 |||||||| 用户消息片段 ||||关键发现：仅总结用户消息，不包含助手回复；最多存储约 15 条摘要；仅作为用户近期兴趣的 “粗略地图”，而非详细上下文。ChatGPT 的方案更简洁：预先生成轻量摘要并直接注入，以牺牲部分细节为代价，换取速度和效率的提升。
2025-12-15 10:04:56
776
转载 【dify】Chatflow示例
对于数据可视化助手这种需要用户输入多个参数再进行判断输出的任务来说，Chatflow 是远比“聊天助手”更适合的构建方式！“JSON转换“，用来将 Excel 中的数据，转换为JSON格式的数据，方便后边图表插件生成图表。根据“开始节点” 中用户输入的用户需求，如：”帮我生成销售数据饼图？文档提取器，用来接收，从“开始节点” 传递过来的用户上传的 Excel 文件。JSON 格式的数据，来自于 ”JSON转换“ 节点。图表类型数据，来自于“图表类型判断器”节点。图表类型判断，使用的是 LLM节点。
2025-11-13 09:46:49
125
原创 【Spring】编程式&声明式事务、隔离级别及传播机制
事务的核心承诺：要么所有操作全部成功提交，要么任一操作失败时整体回滚，确保数据状态的一致性。这就像组队游戏——要么全员通关，要么一人失误全队重来。Spring 基于 SQL92 标准封装了五种事务隔离级别，通过 Isolation 枚举类定义，本质是对数据库隔离级别的抽象适配。DEFAULT(-1), // 依赖数据库默认隔离级别READ_UNCOMMITTED(1), // 读未提交READ_COMMITTED(2), // 读已提交REPEATABLE_READ(4), // 可重复读。
2025-08-28 11:21:45
929
原创 【python】windows下使用pyenv+uv进行python版本及环境变量管理
访问 pyenv-win GitHub 仓库，点击「Code」→「Download ZIP」，下载压缩包。
2025-08-21 16:10:53
590
原创 【Qwen/Qwen-Image】部署及使用
技术报告：https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-Image/Qwen_Image.pdf。需要先运行pip install git+https://github.com/huggingface/diffusers。ModelScope平台：https://modelscope.cn/models/Qwen/Qwen-Image。Hugging Face平台：https://huggingface.co/Qwen/Qwen-Image。
2025-08-15 17:12:29
1128
原创 【AI-ModelScope/bert-base-uncase】模型训练及使用
【代码】【Demo】AI-ModelScope/bert-base-uncase 模型训练及使用。
2025-08-14 14:59:12
230
转载 【Java】以转账问题为示例解释锁的应用及死锁的解决
预防死锁主要是破坏三个条件中的一个，有了这个思路后，实现就简单了。但仍需注意的是，有时候预防死锁成本也是很高的。例如上面转账那个例子，我们破坏占用且等待条件的成本就比破坏循环等待条件的成本高，破坏占用且等待条件，我们也是锁了所有的账户，而且还是用了死循环 while(!方法，不过好在apply()这个方法基本不耗时。在转账这个例子中，破坏循环等待条件就是成本最低的一个方案。
2025-08-14 11:00:55
60
原创 【LLM分析】目前大模型尚不具备类人理解能力
复旦大学计算与智能创新学院教授、复旦大学眸思大模型项目首席科学家、上海市智能信息处理重点实验室副主任张奇在大会上表示：“目前大模型还处于记忆层面，并不能真正去理解自然语言。它仅仅是表象上产生了文字。
2025-08-13 16:33:50
266
转载 长文本预测任务使用BERT构造训练样本
在使用 BERT 处理 长文本预测任务（如新闻分类、法律文书预测、长段情感分析等）时，需要特别注意 BERT 的输入长度限制和模型架构的特点。以下是构造训练样本的系统性方法，适用于各类长文本任务。
2025-08-05 09:21:43
143
原创 【OpenAI API】API接口介绍
给定一个提示，该模型将返回一个或多个预测的完成，并且还可以返回每个位置的替代标记的概率。给定一个提示，该模型将返回一个或多个预测的完成，并且还可以返回每个位置的替代标记的概率。获取给定输入的矢量表示，机器学习模型和算法可以轻松使用该表示。
2025-08-04 15:57:37
396
转载 BERT的MLM任务采用80% 10% 10%的策略的原因
BERT 在预训练的 Masked Language Model（MLM）任务中，采用了 80% MASK + 10% random word + 10% unchanged 的策略，这个设计是 有目的地平衡预训练和下游任务差异，以提升模型泛化能力。
2025-08-01 09:20:52
137
转载 GPT预训练模型
GPT 属于 自回归语言模型（Autoregressive Language Model），目标是预测给定前文下的下一个词：它采用 Decoder-only Transformer 架构，摒弃了传统的双向编码器，仅通过自注意力机制建模前向依赖。
2025-07-31 09:49:13
146
转载 【Transformer】Transformer：采用Multi-head Attention的原因和计算规则
名称说明注意力头数 h一般为 8 或 12每个头的维度 dₖ通常 dₖ = d_model / h计算过程对每个头单独计算 Self-Attention并行性所有头同时计算，适合 GPU 并行加速优点多角度理解 token 关系，增强表达力。
2025-07-31 08:58:26
218
转载 【模型蒸馏】模型蒸馏概念与技术详解
模型蒸馏（Knowledge Distillation）是一种模型压缩技术，最早由Hinton等人在2015年提出。其核心思想是将大型复杂模型（称为"教师模型"）的知识迁移到更小的模型（称为"学生模型"）中，使得学生模型能够在体积更小、计算资源需求更低的情况下，尽可能地保持与教师模型相近的性能。这个过程就像是将"知识精华"从复杂模型中提取出来，浓缩到小模型中，因此形象地称为"蒸馏"。
2025-07-30 14:27:28
144
转载 【MCP】MCP基本概念与核心原理详解
MCP协议通过标准化、模块化与安全设计，为AI应用提供了“万能插头”式的基础设施。无论是开发者构建复杂工作流，还是企业实现跨系统自动化，MCP均展现出强大的潜力。随着开源社区的壮大（GitHub已有超1100个项目），MCP或将成为AI时代不可或缺的数字总线。MCP开发案例及场景实践将在后续文章中进一步完善。
2025-07-30 10:27:22
106
转载 ELMo词向量模型
ELMo（Embeddings from Language Models）是 2018 年由 AllenNLP 团队提出的上下文相关词向量模型，它在当时显著提升了多个自然语言处理任务的表现，为后来的 BERT 和 GPT 等预训练模型奠定了重要基础。
2025-07-29 09:13:58
170
转载 【Transformer】Transformer：self-attention公式中添加scaled的原因
在 Transformer 的 Self-Attention 中，添加 “scaled”（缩放）因子的原因主要是为了避免点积值过大导致梯度不稳定或 softmax 饱和的问题。
2025-07-29 08:59:01
207
转载 加载和使用预训练模型
预训练模型是指在海量数据上提前训练好的模型，可以直接用于下游任务，如情感分类、问答、文本生成等，节省训练时间，提升精度。BERT：适合分类、问答、抽取任务GPT：适合文本生成、对话RoBERTa、DistilBERT、T5、XLNet、ERNIE 等通过预训练模型 + Transformers 工具库，即使没有强大的计算资源，也可以利用大模型完成高质量的 NLP 任务。
2025-07-28 09:01:50
174
转载 BERT 预训练模型
BERT 开启了 NLP 的新时代，是所有预训练语言模型的“奠基之作”。今天，无论你是做文本分类、情感分析、阅读理解，还是更复杂的自然语言推理，BERT 仍是你可靠的基座模型之一。
2025-07-28 08:47:08
162
转载 【数据集】GLUE子任务-WNLI 数据集详解：最难的自然语言推理任务之一
WNLI 是 GLUE 基准中的一项任务，代表 Winograd Natural Language Inference，是一个极具挑战性的 文本蕴涵识别任务，来源于著名的 Winograd Schema Challenge。任务目标：判断“假设”句子是否可以从“前提”句子中逻辑推导而来。它属于一种特殊的 NLI（自然语言推理）任务，但与其他任务相比，它更注重代词消解和常识推理。项目内容任务类型文本蕴涵识别（代词与常识推理）数据规模极小（<700 个训练样本）模型要求。
2025-07-25 09:10:00
60
转载 【数据集】GLUE子任务-RTE 数据集详解：文本蕴涵识别的经典任务
RTE 是 “Recognizing Textual Entailment”（识别文本蕴涵）的缩写，是 GLUE 基准中的一个重要任务，最初来自一系列挑战性数据集（RTE-1 到 RTE-5）。任务目标：判断两个句子之间是否存在“蕴涵”关系。简而言之：给定：- 一段前提文本（Premise）- 一段假设句子（Hypothesis）判断：假设是否能从前提中推断出来。项目内容任务类型文本蕴涵识别（Entailment）输入格式前提 + 假设句子对标签类别数据规模。
2025-07-25 08:56:48
137
转载 【数据集】GLUE子任务-QNLI 数据集详解：基于问答的自然语言推理任务
QNLI（Question Natural Language Inference）是 GLUE 基准中的任务之一，它源自 SQuAD v1.1 数据集，通过结构转化变成了一个 自然语言推理（NLI）任务。本质任务：判断一个问题与一句句子之间是否构成“回答关系”。一个 问题（Question）一句 句子（Sentence）要求模型判断：该句子是否回答了这个问题？项目内容任务类型二分类自然语言推理（是否回答问题）来源从 SQuAD v1.1 派生输入问题 + 句子标签数据规模。
2025-07-24 11:03:28
98
转载 【数据集】GLUE子任务-MNLI 数据集详解：多领域自然语言推理基准
MNLI（多领域自然语言推理）是GLUE基准的核心任务数据集，用于判断两个句子之间的逻辑关系（蕴含/中立/矛盾）。该数据集包含39万训练样本，涵盖10种文本领域，特别适合测试模型跨领域泛化能力。数据集分为匹配/不匹配子集，评估指标为准确率。研究者可通过HuggingFace加载数据，并使用BERT等模型进行微调。MNLI在问答系统、检索匹配等场景有广泛应用，是自然语言处理领域的重要基准任务。
2025-07-24 08:53:19
226
转载 【数据集】GLUE子任务-STS-B 数据集详解：衡量句子之间的语义相似度
STS-B 全称是 Semantic Textual Similarity Benchmark，是由 SemEval 比赛发展而来的标准句子对语义相似度数据集，用于评估模型理解两个句子语义接近程度的能力。属于 GLUE 基准任务之一。项目内容数据集名称任务类型语义相似度回归（0~5 分）标签含义相似度得分，越高越相近使用平台GLUE、HuggingFace、SQuAD等推荐模型BERT, SBERT, SimCSE, RoBERTa 等应用方向搜索、问答、推荐、摘要匹配等。
2025-07-23 09:19:40
186
转载 【数据集】GLUE子任务-QQP 数据集详解：判断两个问题是否在问同一件事
QQP 是英文全称：Quora Question Pairs由问答平台 Quora 提供，是自然语言处理任务中用于判断两句话是否语义相近（重复问题）的标准数据集。在 GLUE Benchmark 中，它是重要的句子对分类任务之一。项目内容数据集名称任务类型句子对分类（二分类）标签含义1 = 语义重复；0 = 不重复来源Quora 用户提问数据使用平台应用场景相似问句识别、问答系统、搜索推荐推荐模型BERT, RoBERTa, SimCSE, SBERT 等。
2025-07-23 08:51:54
185
转载 【数据集】GLUE子任务-SST-2 数据集详解：NLP 情感分析的黄金标准
SST-2 是 GLUE 基准中的一项经典任务，全称为：Stanford Sentiment Treebank v2它来自斯坦福大学 NLP 实验室的研究成果，最初用于情感分析研究，主要目标是：判断一句英文影评的情感倾向是积极（positive）还是消极（negative）特性内容数据集名任务英文句子情感分析（二分类）标签数据来源电影评论（Rotten Tomatoes）用途GLUE 测试集之一，用于情感理解工具推荐。
2025-07-22 09:07:16
325
转载 【数据集】GLUE子任务-CoLA 数据集详解：教 AI 分辨“通顺”英文
项目内容名称任务判断英文句子是否语法可接受类型二分类（Acceptable / Unacceptable）特点来自语言学论文，数据精炼、挑战性高评估应用测试模型语言结构理解能力，常用于评估 BERT、GPT 等。
2025-07-22 08:53:58
152
转载 【数据集】全面了解 GLUE 数据集：自然语言理解的试金石
特性内容本质多任务自然语言理解评估平台数量共 9 个任务，涵盖分类、推理、匹配等目标测试模型的通用语言理解能力工具与 HuggingFace 集成，加载简便意义促进了 NLP 领域的统一评估和快速发展。
2025-07-21 09:05:57
454
转载 【迁移学习】迁移学习理论：让AI举一反三
把在一个任务中学到的知识迁移到另一个相关但不同的任务中，从而提升新任务的学习效率和效果。举个例子：你学会了骑自行车，再学骑摩托车就容易多了，因为你已经掌握了平衡和转向的技能。这就是人类的“迁移能力”。机器学习中也一样：如果我们已经在数百万篇新闻上训练了语言模型（如 fastText、BERT），那么面对一个小型医疗文本分类问题，就可以迁移预训练的模型来加速学习、提升效果。将已有的知识有效迁移，减少新任务学习的难度与数据依赖，提升性能。
2025-07-18 08:48:03
97
转载 【fastText】fastText 词向量的迁移学习
fastText 的词向量本质上是Word2Vec + 子词分片，它支持在大规模语料上快速预训练，并能无缝迁移到下游小样本任务，尤其在 OOV 场景下表现出色。
2025-07-18 08:34:56
67
转载 【fastText】fastText 训练词向量
fastText 可以看作是Word2Vec + 子词分片的组合，同时保持超快的速度和小巧的文件体积。它是一个非常务实、工程化的词向量方案，尤其在海量文本和多语言环境下表现优秀。
2025-07-17 08:45:06
146
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人